CN107704764A - 构建训练集的方法、装置、设备及人机识别的方法 - Google Patents

Abstract

本发明公开了一种基于Web服务器日志构建训练集的方法、装置、设备及计算机可读存储介质，包括：根据预选取的字段对Web日志进行结构化；利用预设的时间窗口对已结构化的Web日志进行分割；通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；通过合并满足预设支持度和置信度的频繁集，获取训练集。本发明所提供的方法、装置、设备及计算机可读存储介质可以快速、高效构建具有足够高精度的训练集。本发明还提供了一种人机识别的方法，利用上述训练集构建人机识别分类器，可用于快速识别访问记录。

Description

构建训练集的方法、装置、设备及人机识别的方法

技术领域

本发明涉及计算机技术领域，特别是涉及一种构建训练集的方法、装置、设备、计算机可读存储介质及人机识别的方法。

背景技术

随着计算机技术领域的发展，识别恶意非法用户的行为对于信息安全管理工作具有非常重要意义的作用，一方面可以协助对事件调查溯源，配合取证工作，另一方面，已知的攻击行为特征可以建立拦截策略，防范事件于未然。区别于正常用户的使用，黑客攻击者由于技术和目的的原因，往往使用脚本或自动化工具对目标发起访问，这些访问记录同样被日志系统所记录。单一，少量的访问记录很可能无法分辨出后者与前者之间的差异，但是一旦形成一定数量访问记录，就有可能区分出不同使用特点和模式，如不同角色的用户，甚至正常用户与违规/非法用户。

近年，已经提出对访问记录进行识别的方法，而训练集的样本容量和准确性是识别准确性的重要基础。现有技术中，选用人工对访问记录进行分析的方法建立训练集，但在实际使用中，取决于目标系统的用户规模，用户/攻击者的日志可能是海量的，依靠人工专家经验不能对足够多的记录进行及时的分析，无法为充足的学习样本打上准确的标签；用户日志规模较小时，依靠人工分析，对访问记录的判断虽然具有较高的准确性，但是用户日志规模小，不足以覆盖大规模访问记录的特征。另一方面，现有技术中的训练集形成后增删、更新机制缺乏。

综上所述可以看出，如何快速、高效地构建具有足够精度的训练集是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于Web服务器日志构建训练集的方法、装置、设备以及可读存储介质，以解决现有技术中不能高效构建具有足够精度的训练集的问题。本发明还提供了一种人机识别的方法，利用所述训练集构建人机识别分类器，实现快速识别。

为解决上述技术问题，本发明提供一种基于Web服务器日志构建训练集的方法，包括：根据预选取的字段对Web日志进行结构化；利用预设的时间窗口对已结构化的Web日志进行分割；通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；通过合并满足预设支持度和置信度的频繁集，获取训练集。

优选地，通过合并满足预设支持度和置信度的频繁集，获取训练集具体包括：对所述满足预设支持度和置信度的频繁集内的特征对应的访问记录标注为非法访问，对不满足预设支持度和置信度的频繁集内的特征对应的访问记录默认标注为正常访问。

优选地，所述获取训练集后还包括：结合人工分析和/或自动化方式对特征标注进行修正。

优选地，所述结合人工分析和/或自动化方式对特征标注进行修正具体包括：对人工判别模糊和/或自动化方式识别不到的频繁集内的特征对应的访问记录标注为正常访问。

优选地，所述获取训练集后还包括：每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

本发明还提供了一种人机识别的方法，包括：以训练集为对象，使用监督学习算法进行学习，获取人机识别分类器，所述训练集通过上述基于Web服务器日志构建训练集的方法获取；响应于网络服务器的访问请求，调用所述人机识别分类器根据访问特征识别访问来源；满足非法访问特征的访问请求标注为非法访问，满足正常访问特征的访问请求标注为正常访问。

本发明还提供了一种基于Web服务器日志构建训练集的装置，包括：结构化模块，用于根据预选取的字段对Web日志进行结构化；分割模块，用于利用预设的时间窗口对已结构化的Web日志进行分割；统计模块，用于通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；获取模块，用于通过合并满足预设支持度和置信度的频繁集，获取训练集。

优选地，还包括：更新模块，用于每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

本发明还提供了一种基于Web服务器日志构建训练集的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述基于Web服务器日志构建训练集的方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于Web服务器日志构建训练集的方法的步骤。

本发明所提供的一种基于Web服务器日志构建训练集的方法、装置以及设备，对Web日志进行机构化并利用时间窗口分割后，对每个时间窗口内的访问记录独立使用关联规则算法获得与每个所述时间窗口对应的频繁集，合并满足预设置信度和支持度的频繁集，得到训练集。根据上述的方法、装置以及设备，通过对已结构化的Web日志进行分割后，可以对海量的访问记录在短时间内进行及时地分析，结合关联规则算法，可以快速、高效的建立具有足够精度的训练集。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于Web日志构建训练集的方法的第一种具体实施例的流程图；

图2为Web日志结构化；

图3为关联规则算法提取频繁集的示意图；

图4为本发明所提供的基于Web日志构建训练集的方法的第二种具体实施例的流程图；

图5为本发明所提供的一种人机识别的方法的具体实施例流程图；

图6为本发明实施例提供的一种基于Web构建训练集的装置的结构框图。

具体实施方式

本发明的核心是提供一种基于Web服务器日志构建训练集的方法、装置、设备以及可读存储介质，可以快速、高效的构建具有足够精度的训练集。本发明还提供了一种人机识别的方法，利用所述训练集构建人机识别分类器，实现快速识别。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的基于Web日志构建训练集的方法的第一种具体实施例的流程图。

步骤S101：根据预选取的字段对Web日志进行结构化；

所述预选取的字段可以为：时间戳、源IP地址、访问域名、请求链接资源(URL)、访问方法类型、服务器返回值、请求响应时间、用户代理类型(User Agent)等。也可以选取别的字段或者更多的字段对Web日志进行结构化。Web日志结构化如图2所示。

步骤S102：利用预设的时间窗口对已结构化的Web日志进行分割；

所述时间窗口可以预设为1分钟、5分钟或者更长的时间，业务访问量大时，时间窗口可以根据具体情况相应缩短，反之可延长时间窗口。本发明中对所述时间窗口对某一时间段的分割并不做限定，可以根据实际应用，选取相应的时间窗口进行分割，如选用5分钟的时间窗口对1小时内的Web日志进行分割。

步骤S103：通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；

所述关联规则算法可以选取Apriori,FP-tree，Savasere等算法。

步骤S104：通过合并满足预设支持度和置信度的频繁集，获取训练集。

如图3所示，所述关联规则算法可以利用最小支持度和置信度概念，从统计学上找到的频繁集。

机器人访问可以划分为两类，一类为：非恶意的访问，如常见各类爬虫机器人，或站点流量分析服务，一般情况下不对网络服务造成影响，但在业务繁忙时段可能进一步加大资源压力；另一类为：恶意的访问，如常见为黑色产业链攻击者，通过构造特殊的网络请求报文，恶意消耗网络服务资源，造成拒绝服务攻击，进一步达到对网络服务提供者勒索或恶性商业竞争的目的。两类机器人访问的IP都频繁地发起访问请求，不管是爬虫或恶意攻击的情况，对访问频次均有很高的要求，明显区别于正常用户使用特点；两类请求通常访问固定的资源，但爬虫和流量分析服务通常只会针对特定的页面进行分析，而恶意攻击者的目标往往针对最消耗系统资源的连接或资源，从而达到拒绝服务的目的。单一IP的访问频次同样显著高于个人用户动态分配IP，但请求当中的用户代理字段，请求链接资源由于正常用户使用的关系，往往不会趋于相同的特征，而呈现高度离散的特点。因此，关联规则算法可以利用最小支持度和置信度概念，从统计学上找到的频繁集。

在本具体实施中，通过对已结构化的Web日志进行分割后，可以对海量的访问记录在短时间内进行及时地分析，结合关联规则算法，可以快速、高效的建立具有足够精度的训练集。

请参考图4，图4为本发明所提供的基于Web日志构建训练集的方法的第二种具体实施例的流程图。

在上述具体实施例的基础上，增加对所述训练集的修正环节以及增删、更新维护环节。在本具体实施例中预设时间窗口为5分钟，并对1小时内的访问记录进行监控。预选取字段为时间戳、源IP地址、请求链接资源、请求响应时间、用户代理类型访问域名、请求链接资源、访问方法类型。

本实施例的具体操作步骤如下：

步骤S401：根据预选取的字段对Web日志进行结构化；

步骤S402：利用5分钟的时间窗口对1小时内的已结构化的Web日志进行分割；

步骤S403：对每一个时间窗口独立使用关联规则算法，获取与所述时间窗口对应的频繁集；

步骤S404：对所述满足预设支持度和置信度的频繁集内的特征对应的访问记录标注为非法访问，对不满足预设支持度和置信度的频繁集内的特征对应的访问记录默认标注为正常访问；

步骤S405：采用人工分析和/或自动化方式的方式对频繁集内访问记录标注进行修正；

所述人工分析可选用专家审核的方式。所述人工分析和/或自动化方式可结合恶意IP库、恶意设备画像等信息服务，对命中恶意库的特征的访问记录标注非正常访问。

步骤S406：对人工判别模糊和/或自动化方式识别不到的频繁集内的特征对应的访问记录标注为正常访问；

步骤S407：合并修正后满足预设支持度和置信度的频繁集，获得训练集；

步骤S408：每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

在本具体实施例中，利用关联规则算法发现非正常访问行为的准确性优于专家经验判断以及能高效处理多维信息的优点，并且引入对频繁集的修正环节，可以进一步地快速建立数量充足且准确性较高的训练集；并且关联规则算法可以快速根据过往一段时期的Web日志提取最新的访问特征，可定时自动运行频繁集内访问特征，从而更新训练集，生成最新的判别规则。

请参考图5，图5为本发明所提供的一种人机识别的方法的具体实施例流程图，具体步骤如下：

步骤S501：以训练集为对象，使用监督学习算法进行学习，获取人机识别分类器，所述训练集通过上述基于Web服务器日志构建训练集的方法获取；

步骤S502：响应于网络服务器的访问请求，调用所述人机识别分类器根据访问特征识别访问来源；

步骤S503：满足非法访问特征的访问请求标注为非法访问，满足正常访问特征的访问请求标注为正常访问。

上述具体实施例所述方法构建的训练集可以用于结合监督学习算法，如朴素贝叶斯分类、决策树、神经网络等算法，构建人机识别分类器，响应于网络服务器的访问请求，调用所述人机识别分类器根据访问特征识别访问来源，满足非法访问特征的访问请求标注为非法访问，满足正常访问特征的访问请求标注为正常访问。上述人机识别的方法可用于快速识别单条访问请求的特征，判断访问类型。每预设时间间隔内，定期更新所述训练集，从而将新的访问特征反映至所述人机访问器，结合机器学习，将已发现的访问特征推广用于对未知访问身份者进行识别。

请参考图6，图6为本发明实施例提供的一种基于Web构建训练集的装置的结构框图；具体装置可以包括：

结构化模块100，用于根据预选取的字段对Web日志进行结构化；

分割模块200，用于利用预设的时间窗口对已结构化的Web日志进行分割；

统计模块300，用于通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；

获取模块400，用于通过合并满足预设支持度和置信度的频繁集，获取训练集。

本装置具体实施中，可以进一步包括：

修正模块500，用于结合人工分析和/或自动化方式对特征标注进行修正；

更新模块600，用于每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

本实施例的基于Web构建训练集的装置用于实现前述的基于Web构建训练集的方法，因此基于Web构建训练集的装置中的具体实施方式可见前文中的基于Web构建训练集的方法的实施例部分，例如，结构化模块100，分割模块200，统计模块300，获取模块400，分别用于实现上述基于Web构建训练集的方法中步骤S101，S102，S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明具体实施例还提供了一种基于Web服务器日志构建训练集的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述基于Web服务器日志构建训练集的方法的具体实施例的步骤。

本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于Web服务器日志构建训练集的方法的具体实施例的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于Web构建训练集的方法、装置、设备、可读存储介质以及人机识别的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于Web服务器日志构建训练集的方法，其特征在于，包括：

根据预选取的字段对Web日志进行结构化；

利用预设的时间窗口对已结构化的Web日志进行分割；

通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；

通过合并满足预设支持度和置信度的频繁集，获取训练集。

2.如权利要求1所述的方法，其特征在于，通过合并满足预设支持度和置信度的频繁集，获取训练集具体包括：对所述满足预设支持度和置信度的频繁集内的特征对应的访问记录标注为非法访问，对不满足预设支持度和置信度的频繁集内的特征对应的访问记录默认标注为正常访问。

3.如权利要求2所述的方法，其特征在于，所述获取训练集后还包括：结合人工分析和/或自动化方式对特征标注进行修正。

4.如权利要求3所述的方法，其特征在于，所述结合人工分析和/或自动化方式对特征标注进行修正具体包括：对人工判别模糊和/或自动化方式识别不到的频繁集内的特征对应的访问记录标注为正常访问。

5.如权利要求1至4任一项所述的方法，其特征在于，所述获取训练集后还包括：每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

6.一种人机识别的方法，其特征在于，包括：

以训练集为对象，使用监督学习算法进行学习，获取人机识别分类器，所述训练集通过如权利要求1至5任一项所述基于Web服务器日志构建训练集的方法获取；

响应于网络服务器的访问请求，调用所述人机识别分类器根据访问特征识别访问来源；

满足非法访问特征的访问请求标注为非法访问，满足正常访问特征的访问请求标注为正常访问。

7.一种基于Web服务器日志构建训练集的装置，其特征在于，包括：

结构化模块，用于根据预选取的字段对Web日志进行结构化；

分割模块，用于利用预设的时间窗口对已结构化的Web日志进行分割；

统计模块，用于通过对每个所述时间窗口内的Web日志独立使用关联规则算法，获取与所述时间窗口相对应的频繁集；

获取模块，用于通过合并满足预设支持度和置信度的频繁集，获取训练集。

8.如权利要求7所述的装置，其特征在于，还包括：

更新模块，用于每隔预设时间间隔，利用关联规则算法，对重新更新的Web日志进行分析，提取包含最新的访问特征的频繁集，更新所述训练集。

9.一种基于Web服务器日志构建训练集的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述基于Web服务器日志构建训练集的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于Web服务器日志构建训练集的方法的步骤。