CN103338260A - 网络审计中url日志的分布式分析系统及分析方法 - Google Patents

Abstract

本发明公开了一种网络审计中URL日志的分布式分析系统及分析方法，涉及信息安全领域，包括若干前端审计设备和一个审计中心平台，前端审计设备完成数据的抓取与还原，获取用户的URL日志，采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备。本发明能快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，减小中心平台的压力，缩短分析时间，提高效率。

Description

网络审计中URL日志的分布式分析系统及分析方法

技术领域

本发明涉及信息安全领域，特别是涉及一种网络审计中的URL（Uniform Resource Location，统一资源定位符）分布式分析系统及分析方法。

背景技术

随着科学技术的不断发展，人们的生活和工作已离不开互联网。在互联网飞速发展壮大并成为全球最重要的基础设施的今天，由于缺乏必要的管制，互联网上开始充斥着色情暴力、侵权行为、造谣诽谤、虚假广告等一系列影响国家安全、社会稳定及个人健康发展的负面内容。为了维护国家安全，给互联网营造一个良好的发展环境，互联网安全审计系统势在必行。在网络安全审计系统中，网页的URL日志占用了存储系统的大部分容量，人们大部分的操作都和WEB有关，例如常见的上网看新闻、查资料、在网上购物、收发邮件、网页游戏等，这些都产生了大量的URL日志信息，大量的URL日志被传输到中心平台，使用者在使用数据时，将面临海量数据查询与分析所带来的计算压力。传统的处理方式将所有的数据分析放在中心平台进行，要分析出用户最近浏览的网址以及感兴趣的事物比较困难，要分析出用户所有的上网日志，需要花费大量的时间才能完成计算，效率非常低下。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种网络审计中URL日志的分布式分析系统及分析方法，能够快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，有效减小中心平台的压力，缩短分析的时间，提高整个审计系统的运行效率。

本发明提供的网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，前端审计设备完成数据的抓取与还原，获取用户的URL日志，所述URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备；每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块；查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

在上述技术方案的基础上，所述前端审计设备进行URL日志的分析与处理的流程如下：

S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

在上述技术方案的基础上，所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：

查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。

本发明还提供一种基于上述系统的网络审计中URL日志的分布式分析方法，包括以下步骤：

A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；

B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；

C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

在上述技术方案的基础上，步骤B中所述前端审计设备进行URL日志的分析与处理的流程如下：

S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

在上述技术方案的基础上，步骤B中所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：

查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。

与现有技术相比，本发明的优点如下：

本发明将审计系统中的URL日志分析任务下发到前端审计设备完成，前端审计设备完成分析，将结果返回给中心平台，采用分布式协同的方式进行URL日志的分析与处理，能够快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，有效减小中心平台的压力，缩短分析的时间，提高整个审计系统的运行效率。

附图说明

图1是本发明实施例中分析系统的整体结构框图。

图2是本发明实施例中分析系统的内部结构框图。

图3是本发明实施例中URI日志分析方法的流程图。

图4是本发明实施例中分析系统的运行流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，前端审计设备完成数据的抓取与还原，获取用户的URL日志，URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备。参见图2所示，每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块。

在上述系统的基础上，本发明实施例提供一种网络审计中URL日志的分布式分析方法，包括以下步骤：

A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；

B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；

C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

参见图3所示，前端审计设备进行URL日志的分析与处理的流程如下：

S1、用户的URL日志基本都从HTTP协议产生，HTTP协议默认采用80端口传输用户的URL日志，80端口是为HTTP（HyperTextTransport Protocol，超文本传输协议）开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

参见图4所示，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：

查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块，如果不指定任何参数范围，查询展示模块将展示审计中心平台中最近一小时的数据；如果是针对某一固定人员的查询，查询者需在审计中心平台的中心分析模块中指定相关的条件，这些条件可以是实名信息，包含身份证号码或者姓名，也可以是虚拟身份，包括QQ号码、邮件账号、所使用电脑的MAC地址等；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统将从审计中心平台的中心存储模块查询分析数据；如果所查询时间位于系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，审计中心平台的中心分析模块完成前端审计设备的查询分析工作。

下面以一个具体实施例来进行详细说明。

公安办案人员要查询最近60天某个城市访问了博彩网页“http://www.bocai.com”的日志，并分析同一个人在那些地方浏览查看了该网页。

首先，公安报案人员在查询分析条件里设定查询分析的网站为“http://www.bocai.com”，选定要分析的结果为人员姓名、证件号码、访问博彩网页的时间、场所名称，然后提交任务。审计中心平台的中心分析模块接收的参数为：网址项“http://www.bocai.com”，时间项“最近60天”，场所为平台下“所有场所”，需要返回的数据项为：“姓名”、“IP”、“场所名称”。时间项“最近60天”在系统阈值90天内，审计中心平台的中心分析模块将任务下发到所有前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到任务后进行任务分析，查询本场所最近60天访问了网址为“http://www.bocai.com”的人员姓名、证件号码、当时的时间以及本场所的名称。前端审计设备的前端分析模块在前端存储模块中查询数据，然后将数据上传给审计中心平台的中心分析模块，审计中心平台的中心分析模块接收到来自一个前端审计设备的数据为“张明，42011319750317617X，2013-6-6，珞瑜路七天连锁酒店”，审计中心平台的中心分析模块将数据加载到查询展示模块，查询展示模块立即显示出来。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型属在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (6)

1.一种网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，其特征在于：前端审计设备完成数据的抓取与还原，获取用户的URL日志，所述URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备；每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块；查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

2.如权利要求1所述的网络审计中URL日志的分布式分析系统，其特征在于：所述前端审计设备进行URL日志的分析与处理的流程如下：

S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

3.如权利要求1所述的网络审计中URL日志的分布式分析系统，其特征在于：所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：

查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。

4.一种基于权利要求1至3中任一项所述系统的网络审计中URL日志的分布式分析方法，其特征在于，包括以下步骤：

A、查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；

B、审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；

C、审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

5.如权利要求4所述的网络审计中URL日志的分布式分析方法，其特征在于：步骤B中所述前端审计设备进行URL日志的分析与处理的流程如下：

S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

6.如权利要求4或5所述的网络审计中URL日志的分布式分析方法，其特征在于：步骤B中所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：

查询者在审计中心平台进行URL日志查询分析时，在中心分析模块中指定查询的参数范围，中心分析模块将指定的参数范围发送到查询展示模块；审计中心平台的中心分析模块将查询的参数范围传递到查询展示模块后，查询展示模块查看参数的属性，先检查时间参数，如果时间超过了系统设定的阈值，系统从审计中心平台的中心存储模块查询分析数据；如果所查询时间在系统阈值内，审计中心平台的中心分析模块查看前端场所信息参数，将分析任务分发到相应的前端审计设备的前端分析模块，前端审计设备的前端分析模块接收到分析任务后，给审计中心平台的中心分析模块返回一个状态值，表示在线，并开始计算分析URL，并将分析的结果返回给审计中心平台的中心分析模块；若前端审计设备的前端分析模块没有返回状态值，则判定该前端审计设备不在线，中心分析模块完成前端审计设备的查询分析工作。

Images