CN103338260B - 网络审计中url日志的分布式分析系统及分析方法 - Google Patents
网络审计中url日志的分布式分析系统及分析方法 Download PDFInfo
- Publication number
- CN103338260B CN103338260B CN201310279210.4A CN201310279210A CN103338260B CN 103338260 B CN103338260 B CN 103338260B CN 201310279210 A CN201310279210 A CN 201310279210A CN 103338260 B CN103338260 B CN 103338260B
- Authority
- CN
- China
- Prior art keywords
- audit
- module
- analysis
- url
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012550 audit Methods 0.000 title claims abstract description 182
- 238000004458 analytical method Methods 0.000 title claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 238000004587 chromatography analysis Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000010205 computational analysis Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012552 review Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 2
- 108010050014 systemin Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种网络审计中URL日志的分布式分析系统及分析方法，涉及信息安全领域，包括若干前端审计设备和一个审计中心平台，前端审计设备完成数据的抓取与还原，获取用户的URL日志，采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备。本发明能快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，减小中心平台的压力，缩短分析时间，提高效率。
Description
技术领域
本发明涉及信息安全领域，特别是涉及一种网络审计中的URL（UniformResourceLocation，统一资源定位符）分布式分析系统及分析方法。
背景技术
随着科学技术的不断发展，人们的生活和工作已离不开互联网。在互联网飞速发展壮大并成为全球最重要的基础设施的今天，由于缺乏必要的管制，互联网上开始充斥着色情暴力、侵权行为、造谣诽谤、虚假广告等一系列影响国家安全、社会稳定及个人健康发展的负面内容。为了维护国家安全，给互联网营造一个良好的发展环境，互联网安全审计系统势在必行。在网络安全审计系统中，网页的URL日志占用了存储系统的大部分容量，人们大部分的操作都和WEB有关，例如常见的上网看新闻、查资料、在网上购物、收发邮件、网页游戏等，这些都产生了大量的URL日志信息，大量的URL日志被传输到中心平台，使用者在使用数据时，将面临海量数据查询与分析所带来的计算压力。传统的处理方式将所有的数据分析放在中心平台进行，要分析出用户最近浏览的网址以及感兴趣的事物比较困难，要分析出用户所有的上网日志，需要花费大量的时间才能完成计算，效率非常低下。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种网络审计中URL日志的分布式分析系统及分析方法，能够快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，有效减小中心平台的压力，缩短分析的时间，提高整个审计系统的运行效率。
本发明提供的网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，前端审计设备完成数据的抓取与还原，获取用户的URL日志，所述URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备；每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块；查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。
在上述技术方案的基础上，所述前端审计设备进行URL日志的分析与处理的流程如下：
S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；
S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；
S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；
S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；
S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。
在上述技术方案的基础上，所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：
查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。
本发明还提供一种基于上述系统的网络审计中URL日志的分布式分析方法，包括以下步骤：
A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；
B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；
C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。
在上述技术方案的基础上，步骤B中所述前端审计设备进行URL日志的分析与处理的流程如下：
S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；
S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；
S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；
S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；
S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。
在上述技术方案的基础上，步骤B中所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：
查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。
与现有技术相比，本发明的优点如下：
本发明将审计系统中的URL日志分析任务下发到前端审计设备完成，前端审计设备完成分析，将结果返回给中心平台，采用分布式协同的方式进行URL日志的分析与处理，能够快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，有效减小中心平台的压力，缩短分析的时间，提高整个审计系统的运行效率。
附图说明
图1是本发明实施例中分析系统的整体结构框图。
图2是本发明实施例中分析系统的内部结构框图。
图3是本发明实施例中URI日志分析方法的流程图。
图4是本发明实施例中分析系统的运行流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示，本发明实施例提供一种网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，前端审计设备完成数据的抓取与还原，获取用户的URL日志，URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备。参见图2所示，每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块。
在上述系统的基础上，本发明实施例提供一种网络审计中URL日志的分布式分析方法，包括以下步骤：
A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；
B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；
C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。
参见图3所示，前端审计设备进行URL日志的分析与处理的流程如下：
S1、用户的URL日志基本都从HTTP协议产生，HTTP协议默认采用80端口传输用户的URL日志，80端口是为HTTP（HyperTextTransportProtocol，超文本传输协议）开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；
S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；
S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；
S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；
S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。
参见图4所示，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：
查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块，如果不指定任何参数范围，查询展示模块将展示审计中心平台中最近一小时的数据；如果是针对某一固定人员的查询，查询者需在审计中心平台的中心分析模块中指定相关的条件，这些条件可以是实名信息，包含身份证号码或者姓名，也可以是虚拟身份，包括QQ号码、邮件账号、所使用电脑的MAC地址等；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统将从审计中心平台的中心存储模块查询分析数据；如果所查询时间位于系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，审计中心平台的中心分析模块完成前端审计设备的查询分析工作。
下面以一个具体实施例来进行详细说明。
公安办案人员要查询最近60天某个城市访问了博彩网页“http://www.bocai.com”的日志，并分析同一个人在那些地方浏览查看了该网页。
首先，公安报案人员在查询分析条件里设定查询分析的网站为“http://www.bocai.com”，选定要分析的结果为人员姓名、证件号码、访问博彩网页的时间、场所名称，然后提交任务。审计中心平台的中心分析模块接收的参数为：网址项“http://www.bocai.com”，时间项“最近60天”，场所为平台下“所有场所”，需要返回的数据项为：“姓名”、“IP”、“场所名称”。时间项“最近60天”在系统阈值90天内，审计中心平台的中心分析模块将任务下发到所有前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到任务后进行任务分析，查询本场所最近60天访问了网址为“http://www.bocai.com”的人员姓名、证件号码、当时的时间以及本场所的名称。前端审计设备的前端分析模块在前端存储模块中查询数据，然后将数据上传给审计中心平台的中心分析模块，审计中心平台的中心分析模块接收到来自一个前端审计设备的数据为“张明，42011319750317617X，2013-6-6，珞瑜路七天连锁酒店”，审计中心平台的中心分析模块将数据加载到查询展示模块，查询展示模块立即显示出来。
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型属在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (4)
1.一种网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，其特征在于：前端审计设备完成数据的抓取与还原，获取用户的URL日志，所述URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备；每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块；查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者；
所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：
查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。
2.如权利要求1所述的网络审计中URL日志的分布式分析系统，其特征在于：所述前端审计设备进行URL日志的分析与处理的流程如下：
S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；
S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；
S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；
S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；
S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。
3.一种基于权利要求1或2所述系统的网络审计中URL日志的分布式分析方法，其特征在于，包括以下步骤：
A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；
B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理，流程如下：
查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作；
C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。
4.如权利要求3所述的网络审计中URL日志的分布式分析方法，其特征在于：步骤B中所述前端审计设备进行URL日志的分析与处理的流程如下：
S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；
S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；
S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；
S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；
S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310279210.4A CN103338260B (zh) | 2013-07-04 | 2013-07-04 | 网络审计中url日志的分布式分析系统及分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310279210.4A CN103338260B (zh) | 2013-07-04 | 2013-07-04 | 网络审计中url日志的分布式分析系统及分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103338260A CN103338260A (zh) | 2013-10-02 |
| CN103338260B true CN103338260B (zh) | 2016-05-25 |
Family
ID=49246354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310279210.4A Active CN103338260B (zh) | 2013-07-04 | 2013-07-04 | 网络审计中url日志的分布式分析系统及分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103338260B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750752B (zh) * | 2013-12-31 | 2018-06-15 | 中国移动通信集团公司 | 一种上网偏好用户群体的确定方法和设备 |
| CN106817353A (zh) * | 2015-11-30 | 2017-06-09 | 任子行网络技术股份有限公司 | 用于mac采集和网络安全审计的无线ap和方法 |
| CN107343021A (zh) * | 2017-05-22 | 2017-11-10 | 国网安徽省电力公司信息通信分公司 | 国网云中应用的一种基于大数据的日志管理系统 |
| CN108306766B (zh) * | 2018-01-23 | 2021-03-02 | 北京天地和兴科技有限公司 | 用于分布式安全审计采集设备的日志发送系统及发送方法 |
| CN111385129A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 全球化内容审核方法、装置、计算机设备及存储介质 |
| CN110389861B (zh) * | 2019-07-23 | 2022-08-19 | 安徽朵朵云网络科技有限公司 | 用于审计日志的智能备份系统 |
| CN110737639A (zh) * | 2019-10-24 | 2020-01-31 | 深圳前海环融联易信息科技服务有限公司 | 审计日志方法、装置、计算机设备及存储介质 |
| CN110865880B (zh) * | 2019-11-22 | 2023-05-26 | 山东万高电子科技有限公司 | 一种电子屏幕发布审计系统及其审计方法 |
| CN112738221B (zh) * | 2020-12-28 | 2022-05-27 | 中国建设银行股份有限公司 | 对象存储流量的审计方法及装置 |
| CN112650779B (zh) * | 2021-01-12 | 2022-09-06 | 浪潮云信息技术股份公司 | 一种基于ElasticSearch支持深度跳页查询的云审计方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101056211A (zh) * | 2007-06-22 | 2007-10-17 | 中兴通讯股份有限公司 | 一种实现用户上网行为审计的方法及系统 |
| CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
| CN102004770A (zh) * | 2010-11-16 | 2011-04-06 | 杭州迪普科技有限公司 | 一种网页审计方法及装置 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
-
2013
- 2013-07-04 CN CN201310279210.4A patent/CN103338260B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101056211A (zh) * | 2007-06-22 | 2007-10-17 | 中兴通讯股份有限公司 | 一种实现用户上网行为审计的方法及系统 |
| CN101964795A (zh) * | 2010-09-30 | 2011-02-02 | 北京世纪互联工程技术服务有限公司 | 日志采集系统、日志采集方法和日志回收服务器 |
| CN102004770A (zh) * | 2010-11-16 | 2011-04-06 | 杭州迪普科技有限公司 | 一种网页审计方法及装置 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 网络日志监控及安全审计系统的设计与实现;李勋章;《中国优秀硕士学位论文全文库信息科技辑》;20130115;正文第1-78页、图4-1、表3-4、3-7、4-1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103338260A (zh) | 2013-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103338260B (zh) | 网络审计中url日志的分布式分析系统及分析方法 | |
| US8671097B2 (en) | Method and system for log file analysis based on distributed computing network | |
| CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
| CN108885627A (zh) | 向远程客户端提供查询结果数据的查询即服务系统 | |
| CN104869009A (zh) | 网站数据统计的系统和方法 | |
| US7783636B2 (en) | Personalized information retrieval search with backoff | |
| CN107103062A (zh) | 一种网页推荐方法及系统 | |
| CN104615627B (zh) | 一种基于微博平台的事件舆情信息提取方法及系统 | |
| CN107515915A (zh) | 基于用户行为数据的用户标识关联方法 | |
| CN105260447A (zh) | 一种网页数据分析方法及系统 | |
| CN105787066A (zh) | 基于全量分析的数字内容分发系统 | |
| CN103179205B (zh) | 一种基于互联网的广告推送系统 | |
| Bari et al. | Web usage mining | |
| Pamnani et al. | Web usage mining: a research area in web mining | |
| CN105491136B (zh) | 消息发送方法和装置 | |
| Suneetha et al. | Data preprocessing and easy access retrieval of data through data ware house | |
| CN105471676A (zh) | 一种端口扫描ip网址活跃度统计系统及方法 | |
| CN103455483B (zh) | 站内搜索数据的搜集处理方法和系统 | |
| CN103077210A (zh) | 一种基于云计算的数据获取方法及系统 | |
| Liu et al. | Cross-device User Tracking via Hybrid Model | |
| CN108959579A (zh) | 一种获取用户和文档个性化特征的系统 | |
| CN203039704U (zh) | 一种网站日志保存系统 | |
| KR20120085375A (ko) | 로그데이터 분석시스템 | |
| Raiyani et al. | Enhance preprocessing technique Distinct user identification using web log usage data | |
| Maheswari et al. | Algorithm for Tracing Visitors' On-Line Behaviors for Effective Web Usage Mining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Distributed analytical system and analytical method for URL logs in network auditing Effective date of registration: 20161222 Granted publication date: 20160525 Pledgee: Wuhan rural commercial bank Limited by Share Ltd Optics Valley branch Pledgor: Wuhan Shiji Jinqiao Safety Technology Co., Ltd. Registration number: 2016420000060 |
|
| PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20170517 Granted publication date: 20160525 Pledgee: Wuhan rural commercial bank Limited by Share Ltd Optics Valley branch Pledgor: Wuhan Shiji Jinqiao Safety Technology Co., Ltd. Registration number: 2016420000060 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Distributed analytical system and analytical method for URL logs in network auditing Effective date of registration: 20181127 Granted publication date: 20160525 Pledgee: Wuhan rural commercial bank Limited by Share Ltd Optics Valley branch Pledgor: Wuhan Shiji Jinqiao Safety Technology Co., Ltd. Registration number: 2018420000065 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20190612 Granted publication date: 20160525 Pledgee: Wuhan rural commercial bank Limited by Share Ltd Optics Valley branch Pledgor: Wuhan Shiji Jinqiao Safety Technology Co., Ltd. Registration number: 2018420000065 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Distributed analytical system and analytical method for URL logs in network auditing Effective date of registration: 20190625 Granted publication date: 20160525 Pledgee: Wuhan rural commercial bank Limited by Share Ltd Optics Valley branch Pledgor: Wuhan Shiji Jinqiao Safety Technology Co., Ltd. Registration number: 2019420000024 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20200703 Granted publication date: 20160525 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN SHIJI JINQIAO SAFETY TECHNOLOGY Co.,Ltd. Registration number: 2019420000024 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201202 Address after: Room 124-53, building 3, 2111 Beiyan Road, Chongming District, Shanghai 202150 (Chongming forest tourism park, Shanghai) Patentee after: Shanghai Fenti Digital Technology Co., Ltd Address before: Jiang Xing Lu 430023 Hubei city of Wuhan province Jianghan Economic Development Zone No. 8 Tiance building 7F Patentee before: WUHAN SHIJI JINQIAO SAFETY TECHNOLOGY Co.,Ltd. |