CN115048533B - 知识图谱构建的方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请涉及一种知识图谱构建的方法、装置、电子设备及可读存储介质，涉及网络安全技术领域。该方法包括：获取Web日志，基于Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，第一实体集合包括：IP实体、URI实体以及Web日志实体，第二实体集合包括：行为实体和攻击事件实体，基于Web日志、第一实体集合以及第二实体集合，实例化生成各实体之间的关系，基于第一实体集合、第二实体集合和各实体之间的关系构建知识图谱。本申请提供的知识图谱构建的方法、装置、电子设备及可读存储介质可以节省通过攻击事件查找与攻击事件相关联的各实体的时间，以提高对Web日志检索的效率。

Description

知识图谱构建的方法、装置、电子设备及可读存储介质

技术领域

本申请涉及网络安全技术领域，尤其是涉及一种知识图谱构建的方法、装置、电子设备及可读存储介质。

背景技术

目前随着信息技术的发展，人们对网络安全的要求越来越高。Web日志详细的记录了服务器运行期间客户端对Web应用的访问请求和服务器的运行状态，同样，攻击者对网站的入侵行为也会被记录到Web日志中，因此，在网站日常运营和安全应急响应过程中，可以通过分析Web日志来跟踪攻击者，目前许多企业在处理Web日志用于网络攻击发现时，将日志解析为表格型数据，该数据包括Web日志的字段内容，通过Web日志的字段内容发现网络攻击。

发明人在研究过程中发现：仅将Web日志解析为表格型数据，难以清晰地揭示Web日志中的复杂关系，从而导致了在发现网络攻击时不容易分析攻击溯源，进而导致分析Web日志的效率降低。

发明内容

本申请目的是提供一种知识图谱构建的方法、装置、电子设备及可读存储介质，用于解决以上至少一项技术问题。

本申请的上述发明目的是通过以下技术方案得以实现的：

第一方面，提供了一种知识图谱构建的方法，该方法包括：

获取Web日志；

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，所述第一实体集合包括：IP实体、URI实体以及Web日志实体，所述第二实体集合包括：行为实体和攻击事件实体；

基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系，所述各实体之间的关系包括：第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系以及第一实体集合与第二实体集合之间的关系；

基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱。

在一种可能的实现方式中，所述基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，包括：

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及基于所述Web日志，实例化生成待构建的图谱中的第二实体集合；或者，

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及，获取告警日志，并基于所述告警日志，实例化生成待构建的图谱中的第二实体集合。

在另一种可能的实现方式中，所述基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系，包括：

基于所述Web日志以及所述第一实体集合，实例化生成第一实体集合中各实体之间的关系；

基于所述Web日志以及所述第二实体集合，生实例化成第二实体集合中各实体之间的关系；

基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成所述第一实体集合与所述第二实体集合之间的关系。

在另一种可能的实现方式中，基于所述Web日志，实例化生成待构建的图谱中的第二实体集合，具体用于：

基于所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具实例化生成待构建的知识图谱中的第二实体集合；或者，

获取告警日志，并基于所述告警日志、所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合。

在另一种可能的实现方式中，所述Web日志中包含IP对URI的请求次数以及时间窗口内的请求序列；

其中，基于所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合，包括：

基于所述IP对URI的请求次数以及所述时间窗口内的请求序列，实例化生成行为实体；

基于所述行为实体，实例化生成攻击事件实体。

在另一种可能的实现方式中，所述方法还包括：

基于所述Web日志和所述URI实体，实例化生成待构建的知识图谱中的URI抽象实体；

基于所述Web日志、所述URI实体和所述URI抽象实体，实例化生成URI实体和URI抽象实体之间的关系。

在另一种可能的实现方式中，所述方法还包括：

获取资产拓扑信息和Web服务接口信息；

基于所述资产拓扑信息以及所述Web服务接口信息，实例化生成第三实体集合以及第三实体集合中各实体之间的关系，所述第三实体集合包括：服务实体和服务器实体；

基于所述Web服务接口信息、所述web日志、所述第一实体集合以及所述第三实体集合，实例化生成所述第一实体集合和所述第三实体集合之间的关系。

在另一种可能的实现方式中，所述基于所述资产拓扑信息以及所述Web服务接口信息，生成第三实体集合以及第三实体集合中各实体之间的关系，包括：

根据所述Web服务接口信息实例化生成所述服务实体；

根据所述资产拓扑信息实例化生成所述服务器实体；

根据所述服务实体、所述服务器实体以及所述资产拓扑信息，实例化生成所述第三实体集合中各实体之间的关系。

在另一种可能的实现方式中，所述基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述第一实体集合和所述第三实体集合之间的关系，包括：

基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述URI实体与所述服务实体之间的关系，以得到所述第一实体和所述第三实体之间的关系。

在另一种可能的实现方式中，所述基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱，包括：

基于以下信息，构建知识图谱：

所述第一实体集合；

所述第二实体集合；

所述第三实体集合；

所述URI抽象实体；

所述第一实体集合中各实体之间的关系；

所述第二实体集合中各实体之间的关系；

所述第三实体集合中各实体之间的关系；

所述第一实体集合与所述第二实体集合之间的关系；

所述第一实体集合与所述第三实体集合之间的关系；

所述URI实体和所述URI抽象实体之间的关系。

在另一种可能的实现方式中，所述基于以下信息，构建知识图谱，之后还包括：

将构建的知识图谱上传到图数据库；

基于所述知识图谱进行攻击溯源分析，得到与攻击事件相关联的各实体。

第二方面，提供了一种知识图谱构建的装置，该装置包括：

第一获取模块，用于获取Web日志；

第一实例化生成模块，用于基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，所述第一实体集合包括：IP实体、统一资源标识符URI实体以及Web日志实体，所述第二实体集合包括：行为实体和攻击事件实体；

第二实例化生成模块，用于基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系，所述各实体之间的关系包括：第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系以及第一实体集合与第二实体集合之间的关系；

构建模块，用于基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱。

在一种可能的实现方式中，所述第一实例化生成模块在基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合时，具体用于：

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及基于所述Web日志，实例化生成待构建的图谱中的第二实体集合；或者，

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及，获取告警日志，并基于所述告警日志，实例化生成待构建的图谱中的第二实体集合。

在另一种可能的实现方式中，所述第二实例化生成模块在基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系时，具体用于：

基于所述Web日志以及所述第一实体集合，实例化生成第一实体集合中各实体之间的关系；

基于所述Web日志以及所述第二实体集合，实例化生成第二实体集合中各实体之间的关系；

基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成所述第一实体集合与所述第二实体集合之间的关系。

在另一种可能的实现方式中，所述第一实例化生成模块在基于所述Web日志，实例化生成待构建的图谱中的第二实体集合时，具体用于：

基于所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具实例化生成待构建的知识图谱中的第二实体集合；或者，

获取告警日志，并基于所述告警日志、所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合。

在另一种可能的实现方式中，所述Web日志中包含IP对URI的请求次数以及时间窗口内的请求序列；

其中，所述第一实例化生成模块在基于所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合时，具体用于：

基于所述IP对URI的请求次数以及所述时间窗口内的请求序列，实例化生成行为实体；

基于所述行为实体，实例化生成攻击事件实体。

在另一种可能的实现方式中，所述装置还包括：第三实例化模块和第四实例化生成模块，其中，

第三实例化生成模块，用于基于所述Web日志和所述URI实体，实例化生成待构建的知识图谱中的URI抽象实体；

第四实例化生成模块，用于基于所述Web日志、所述URI实体和所述URI抽象实体，实例化生成URI实体和URI抽象实体之间的关系。

在另一种可能的实现方式中，所述装置还包括：第二获取模块、第五实例化生成模块和第六实例化生成模块，其中，

第二取模块，用于获取资产拓扑信息和Web服务接口信息；

第五实例化生成模块，用于基于所述资产拓扑信息以及所述Web服务接口信息，实例化生成第三实体集合以及第三实体集合中各实体之间的关系，所述第三实体集合包括：服务实体和服务器实体；

第六实例化生成模块，用于基于所述Web服务接口信息、所述web日志、所述第一实体集合以及所述第三实体集合，实例化生成所述第一实体集合和所述第三实体集合之间的关系。

在另一种可能的实现方式中，所述第五实例化生成模块在基于所述资产拓扑信息以及所述Web服务接口信息，实例化生成第三实体以及第三实体中各实体之间的关系时，具体用于：

根据所述Web服务接口信息实例化生成所述服务实体；

根据所述资产拓扑信息实例化生成所述服务器实体；

根据所述服务实体、所述服务器实体以及所述资产拓扑信息，实例化生成所述第三实体集合中各实体之间的关系。

在另一种可能的实现方式中，所述第六实例化生成模块在基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述第一实体集合和所述第三实体集合之间的关系时，具体用于：

基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述URI实体与所述服务实体之间的关系，以得到所述第一实体集合和所述第三实体之间的关系。

在另一种可能的实现方式中，所述构建模块在基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱时，具体用于：

基于以下信息，构建知识图谱：

所述第一实体集合；

所述第二实体集合；

所述第三实体集合；

所述URI抽象实体；

所述第一实体集合中各实体之间的关系；

所述第二实体集合中各实体之间的关系；

所述第三实体集合中各实体之间的关系；

所述第一实体集合与所述第二实体集合之间的关系；

所述第一实体集合与所述第三实体集合之间的关系；

所述URI实体和所述URI抽象实体之间的关系。

在另一种可能的实现方式中，所述装置还包括：上传模块和分析模块，其中，

上传模块，用于将构建的知识图谱上传到图数据库；

分析模块，用于基于所述知识图谱进行攻击溯源分析，得到与攻击事件相关联的各实体。

第三方面，提供了一种电子设备，该电子设备包括：

一个或者多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序用于：执行根据第一方面中任一可能的实现方式所示的知识图谱构建的方法对应的操作。

第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的知识图谱构建的方法。

综上，本申请包括以下至少一种有益技术效果：

本申请提供了一种知识图谱构建的方法、装置、电子设备及可读存储介质，与相关技术相比，在本申请中，通过获取Web日志，基于Web日志，实例化生成待构建的图谱中的IP实体、URI实体、Web日志实体、行为实体和攻击事件实体等实体，基于上述生成的各个实体以及Web日志，可以实例化生成各实体之间的关系，从而可以根据各实体以及各实体之间的关系，构建知识图谱，进而当出现网络攻击时，可以基于知识图谱中各实体以及各实体之间的关系，快速进行攻击溯源分析，以进一步可以提高分析Web日志的效率。

附图说明

图1是本申请实施例提供的一种知识图谱构建的方法流程示意图。

图2是本申请实施例提供的一种知识图谱本体库设计示意图。

图3是本申请实施例提供的一种知识图谱构建的装置的结构示意图。

图4是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

Web日志是网站服务器运行过程中，记录的用户和服务器资源间的请求与交互，许多产品用于在解析Web日志后发现潜在的网络攻击，相关Web日志解析工具通过数据清洗、拆分获得数据片段，通过片段解析工具生成规范化的数据表格及对应内容，推送至数据中台中，通过安全分析人员来人工分析Web日志内容，或利用关键词分析模型将数据片段中的请求响应按时间线归并。但是发明人发现在处理Web日志用于网络攻击发现时，仅将日志解析为表格型数据，未充分结构化日志数据，同时基于表格型数据实现的统计方法或基于异常值的方法来发现网络攻击，没有利用Web日志记录的请求交互中存在的结构化语义信息，难以清晰地揭示各类请求中的复杂关系，使得难于发现网络攻击体现的行为特征。并且相关技术并未在Web日志上集成多源数据，多源数据的格式错乱复杂、形式不统一。

为了解决以上问题，本申请实施例通过设计一个Web日志的知识图谱本体库，结合网页提供的服务、部署的服务器，建模网页请求中的行为来增加、富化Web日志中的结构化信息，并服务于网络攻击发现，通过该模型对Web日志中的信息经过网页请求、资产服务、行为事件三个维度进行关联整理，可以对不同配置策略与类型的Web日志进行信息拆分与整合，最终帮助安全分析人员快速发现、检索、评估日志中隐藏的网络威胁。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供一种知识图谱构建的方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，其中，如图1所示，该方法可以包括：

步骤S101、获取Web日志。

对于本申请实施例，获取来自Apache或Nginx等服务器的日志数据，Web日志中记录了Web服务器接收处理请求以及Web服务器运行时发生错误等各种原始信息，常见的Web日志格式主要有两类,一类是Apache的美国国家超级计算应用中心(National Center forSupercomputer Applications，NCSA)日志格式,另一类是互联网信息服务(InternetInformation Services,IIS)的万维网联盟(World Wide Web Consortium，W3C)日志格式。

步骤S102、基于Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合。

其中，第一实体集合包括：IP实体、统一资源标识符(Uniform ResourceIdentifier，URI)实体以及Web日志实体，第二实体集合包括：行为实体和攻击事件实体。

对于本申请实施例，当获取Web日志之后，利用正则表达式匹配等方法对多类型Web日志内容进行识别与提取，得到Web日志字段数据，对Web日志字段进行预处理和分析，预处理的过程包括：确定同一时间戳的Web日志字段数据、拆分Web日志字段数据提取URI数据，判断IP地址是否属于公网IP地址，判断IP向服务器发送请求的类型，基于图谱的本体库设计，将预处理结果解析为图谱的本体所需要的数据，基于解析的数据实例化生成待构建的图谱中的第一实体和第二实体，图谱的本体库设计包括：本体类型和本体间关系，本体类型包括：IP本体、URI本体、URI抽象本体、Web日志本体、行为本体、攻击事件本体、服务本体和服务器本体，本体间关系包括：IP本体和URI本体之间的关系包括：发送数据、URI本体和URI本体的关系包括：跳转、URI本体和URI抽象本体之间的关系包括：生成、IP本体和URI本体与Web日志本体之间的关系包括：来源、Web日志本体和行为本体之间的关系包括：匹配、行为本体和攻击事件的本体包括：组成、URI本体和服务本体之间的关系包括：提供、服务本体和服务器本体之间的关系包括：部署，如图2所示，由IP发起的连接、访问两条虚线并不会参与实例化，代表隐式的关系推理过程，IP本体和服务本体的关系包括：访问，IP本体和服务器本体的关系包括：连接。

其中，实体以及各实体之间的关系可以分别用于体现实体属性信息和关系属性信息，如表一所示。

表一

步骤S103、基于Web日志、第一实体集合以及第二实体集合，实例化生成各实体之间的关系。

其中，各实体之间的关系包括：第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系以及第一实体集合与第二实体集合之间的关系。

对于本申请实施例，解析Web日志字段中记录的连接关系，基于第一实体集合、第二实体集合和Web日志字段中记录的连接关系实例化生成待构建的图谱中的各实体之间的关系。

步骤S104、基于第一实体集合、第二实体集合和各实体之间的关系构建知识图谱。

对于本申请实施例，第一实体集合和第二实体集合用于构建知识图谱上的节点，各实体之间的关系用于构建知识图谱上的边。

本申请实施例提供了一种知识图谱构建的方法，与相关技术相比，在本申请实施例中，通过获取Web日志，基于Web日志，实例化生成待构建的图谱中的IP实体、URI实体、Web日志实体、行为实体和攻击事件实体等实体，基于上述生成的各个实体以及Web日志，可以实例化生成各实体之间的关系，从而可以根据各实体以及各实体之间的关系，构建知识图谱，进而当出现网络攻击时，可以基于知识图谱中各实体以及各实体之间的关系，快速进行攻击溯源分析，以进一步可以提高分析Web日志的效率。

具体地，步骤S102中基于Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，具体可以包括：步骤S1021(图中未示出)或者步骤S1022(图中未示出)，其中，

步骤S1021、基于Web日志，实例化生成待构建的图谱中的第一实体集合，以及基于Web日志，实例化生成待构建的图谱中的第二实体集合。

进一步地，在本申请实施例中，基于Web日志，实例化生成待构建的图谱中的第一实体集合的步骤可以在基于Web日志实例化生成待构建的图谱中的第二实体集合的步骤之前执行，也可以与在基于Web日志实例化生成待构建的图谱中的第二实体集合的步骤同时执行，还可以在在基于Web日志实例化生成待构建的图谱中的第二实体集合的步骤之后执行，在本申请实施例中不做限定。

具体地，Web日志中包含IP数据和URI数据，在本申请实施例中，基于Web日志，将待分析的Web日志实例化为Web日志实体，基于IP数据以及URI数据可以实例化生成第一实体集合中的IP实体以及URI实体。在本申请实施例中，Web日志中记录了一个具体IP对一个具体的URI发送数据，以及本次请求中的相关数据，包括是否为公网IP、URI的域名、发送时间、http请求方法、协议类型、状态码与请求包的字节数，Web网页通常存在页面跳转的访问逻辑，URI实体间存在关联可反映用户固有的交互逻辑，例如用户在访问完一个Web页面之后跳转到另一个Web页面，页面之间的跳转为用户固有的交互逻辑。

具体地，基于Web日志，实例化生成待构建的图谱中的第二实体集合，包括：基于Web日志、第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具实例化生成待构建的知识图谱中的第二实体集合；或者，获取告警日志，并基于告警日志、Web日志、第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合。在本申请实施例中，在生成行为实体以及攻击事件实体时，可以基于Web日志、第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具进行生成，还可以不基于行为建模工具生成，而是获取安防设施的告警日志，基于安防设施的告警日志、Web日志、第一实体集合以及第一实体集合中各实体之间的关系生成。

进一步地，Web日志中包含IP对URI的请求次数以及时间窗口内的请求序列；基于Web日志、第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合，具体可以包括：基于IP对URI的请求次数以及时间窗口内的请求序列，实例化生成行为实体；基于行为实体，实例化生成攻击事件实体。具体地，通过统计IP对URI的请求次数、时间窗口内的请求序列，引入安防设施的告警日志或行为建模工具，建立Web日志中IP向URI发送数据的代表的行为实体的关联，例如IP访问用户登录页面，填写用户名与密码等信息，但由于密码错误得到了登录失败的返回结果，这一过程将被识别为登录失败行为。

进一步地，依靠专家知识、情报库等制定启发式规则或策略，单个或多个异常行为将会被标记为某项攻击事件，攻击事件将会分为有限的类别，每个攻击事件将包含组成事件所需的行为序列。攻击事件挖掘方法可通过状态机建模等方法，识别满足条件的行为序列，例如某IP在1分钟内触发了10次以上的登录失败行为，将被标记为暴力破解密码的攻击事件。

进一步地，在本申请实施例中，攻击事件会被分为有限的类别，对于其中攻击者可能采取的具体威胁行为，以通用攻击模式列举和分类(Common Attack PatternEnumeration and Classification，CAPEC)或攻击战术和技术知识库(AdversarialTactics,Techniques,and Common Knowledge，MITRE ATT&CK)中收录的攻击技术的对应ID进行标识。

进一步地，在通过上述实施例得到第一实体集(IP实体、URI实体以及Web日志实体)以及第二实体集(行为实体和攻击事件实体)，基于Web日志、第一实体集合以及第二实体集合，实例化生成各实体之间的关系，具体可以包括：基于Web日志以及第一实体集合，实例化生成第一实体集合中各实体之间的关系；基于Web日志以及第二实体集合，实例化生成第二实体集合中各实体之间的关系；基于Web日志、第一实体集合以及第二实体集合，实例化生成第一实体集合与第二实体集合之间的关系。

具体地，第一实体集合包括：IP实体、URI实体以及Web日志实体，基于Web日志、IP实体、URI实体以及Web日志实体，可以确定出三者之间的关系，例如：IP实体的属性信息为“211.112.18.137，是”，IP实体和URI实体之间的关系为发送数据，IP实体和URI实体两者和Web日志实体之间的关系是发送数据。

具体地，第二实体集合包括：行为实体以及攻击事件实体，在本申请实施例中，除了基于Web日志、行为实体以及攻击事件实体，生成行为实体与攻击事件实体之间的关系，还可以基于部分安防设备的告警日志生成行为实体和攻击事件实体之间的关系。在本申请实施例中，当得到Web日志以及告警日志后，可以基于Web日志以及告警日志，生成行为实体和攻击事件实体之间的关系，也可以通过Web日志生成行为实体和攻击事件实体之间的关系，还可以基于告警日志生成行为实体和攻击事件之间的关系，在本申请实施例中不做限定。

具体地，第一实体集合和第二实体集合之间的关系指的是第一实体集合中某一实体和第二实体中某一实体之间的关系，例如，Web日志实体和行为实体之间的关系。在本申请实施例中，可以基于Web日志、生成第一实体集合和第二实体集合之间的关系，还可以根据部分安防设备的告警日志得到IP-受影响目标-行为-攻击事件之间的关系，以得到第一实体集合和第二实体集合之间的关系。

对于本申请实施例，Base64编码或复杂的资源名称等将影响对相似URI的理解，在本申请实施例中可以对URI的抽象来解决该问题，URI抽象将仅保留第一层目录的名称、资源的类型与请求的参数体数量，例如：/admin/*.php？*＝。在本申请实施例中，该方法还可以包括：基于Web日志和URI实体，实例化生成待构建的知识图谱中的URI抽象实体；基于Web日志、URI实体和URI抽象实体，实例化生成URI实体和URI抽象实体之间的关系。在本申请实施例中，基于Web日志和URI实体，实例化生成待构建的知识图谱中的URI抽象实体的步骤可以在得到URI实体后执行。进一步地，由于URI抽象实体是对URI实体进行抽象后生成，也即得到URI实体和URI抽象之间的关系。

进一步地，为了富化知识图谱的内容，该方法还可以包括：获取资产拓扑信息和Web服务接口信息，资产拓扑信息是服务器和服务器之间的连接关系，Web服务接口信息中记录了URI提供的服务，如登录服务；基于资产拓扑信息以及Web服务接口信息，实例化生成第三实体以及第三实体中各实体之间的关系；基于Web服务接口信息、web日志、第一实体以及第三实体，实例化生成第一实体和第三实体之间的关系。在本申请实施例中，第三实体可以包括：服务实体和服务器实体。

具体地，基于资产拓扑信息以及Web服务接口信息，生成第三实体以及第三实体中各实体之间的关系，具体可以包括：根据Web服务接口信息实例化生成服务实体；根据资产拓扑信息实例化生成服务器实体；根据服务实体、服务器实体以及资产拓扑信息，实例化生成第三实体中各实体之间的关系。在本申请实施例中，根据Web服务接口信息实例化生成服务实体的步骤可以在根据资产拓扑信息实例化生成服务器实体的步骤之前执行，也可以在根据资产拓扑信息实例化生成服务器实体的步骤之后执行，还可以与根据资产拓扑信息实例化生成服务器实体的步骤同时执行。

具体地，通过引入Web应用文档，或进行源代码审计，得到Web服务对应的URI形式的API接口信息，以进而实例化生成服务实体；在资产拓扑信息中获取Web服务域内的服务器实体列表，以得到服务器实体以及服务器实体与服务实体之间的关系。具体的，通过进行资产识别引入服务器部署信息、资产拓扑信息，可以建立Web服务域内的服务器实体列表，单个服务器部署有单个或多个Web服务，据此关联Web服务具体部署的服务器实体资源。也就是说，通过上述实施例可以得到服务器实体、服务实体以及服务器实体与服务实体之间的关系。例如，服务实体和服务器实体之间的关系为部署。

进一步地，由上述实施例可知：待构建的知识图谱中包含第一实体集合以及第三实体集合，也即若构建知识图谱，还需要确定第一实体集合和第三实体集合之间的关系，其中，基于Web服务接口信息、Web日志、第一实体集合以及第三实体集合，确定第一实体集合和第三实体集合之间的关系，具体可以包括：基于Web服务接口信息、Web日志、第一实体集合以及第三实体集合，确定URI实体与服务实体之间的关系，以得到第一实体集合和第三实体集合之间的关系。

对于本申请实施例，通过引入Web服务接口信息和资产拓扑信息，富化知识图谱的内容，URI页面的内容展示或提供特定的功能，将对应至少一项Web应用服务，分析服务的被访问序列，可还原用户的业务逻辑，进而在工作流中发现异常或非授权的IP访问特定服务的行为。服务将被实例化地通过Apache或Nginx等工具部署在具体的服务器节点上。IP请求URI即为IP与服务器进行连接，通过考虑服务器的资产拓扑，定位失陷URI对应的服务器，可帮助启动后续的处置与灾备策略，采用通用平台枚举(Common Platform Enumeration，CPE)的标准格式对服务、组件或服务器进行表达，可以方便地进行扩展例如，某IP访问过某服务器，并在一定时间间隔内访问过另一台同属于该单位且无业务关联的服务器，则提高对该IP的风险估值。

进一步地，在通过上述实施例得到第一实体集合、第二实体集合、第三实体集合、URI抽象、第一实体集合、第二实体集合、第三实体集合以及URI抽象中各实体之间的关系后，基于第一实体集合、第二实体集合和各实体之间的关系构建知识图谱，具体可以包括：基于第一实体集合、第二实体集合、第三实体集合、URI抽象实体、第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系、第三实体集合中各实体之间的关系、第一实体集合与第二实体集合之间的关系、第一实体集合与第三实体集合之间的关系以及URI实体和URI抽象实体之间的关系，构建知识图谱。

对于本申请实施例，根据实例化得到的第一实体集合中各实体、第二实体集合中的各实体、第三实体集合中的各实体和URI抽象实体，构建知识图谱上的节点，以及根据实例化得到的第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系、第三实体集合中各实体之间的关系、第一实体集合与第二实体集合之间的关系、第一实体集合与第三实体集合之间的关系以及URI实体和URI抽象实体之间的关系，构建知识图谱上的边，对知识图谱中的相同实体进行判断对齐，去除重复的日志信息，在对知识图谱的构建过程中，引入多源数据与知识，对不同配置策略与类型的Web日志进行拆分与整合，构建知识图谱，揭示了各类请求中的复杂关系。

在通过上述方式构建了知识图谱后，该方法还可以包括：将构建的知识图谱上传到图数据库；基于知识图谱进行攻击溯源分析，得到与攻击事件相关联的各实体。也即上述的构建的知识图谱推送至Neo4j等图数据库。安全分析人员可通过交互页面查看特定IP对URI、服务与服务器的访问情况，利用该知识图谱完成人工的信息检索与异常发现过程；当攻击事件实体被触发关联后，安全分析人员可通过该知识图谱进行检索完成攻击溯源分析，查找攻击事件关联的行为，行为关联的IP与URI实体，攻击事件所作用的服务或服务器，例如当暴力破解的攻击事件发生后，安全分析人员可依靠Web日志知识图谱查找发起攻击的IP实体，确认恶意IP是否成功破解登录，并访问了受限制的URI与服务器资源。

进一步地，上述实施例中基于构建的知识图谱进行攻击溯源分析的过程可以由安全分析人员执行，也可以由电子设备执行，也即当电子设备检测到异常事件指令时，可以基于构建的知识图谱进行攻击溯源分析，还可以检测到用户触发的检测指令后，基于构建的知识图谱进行攻击溯源分析，在本申请实施例中不做限定。

上述实施例从方法流程的角度介绍一种知识图谱构建的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种知识图谱构建的装置，具体详见下述实施例。

本申请实施例提供一种知识图谱构建的装置，如图3所示，该知识图谱构建的装置30具体可以包括：第一获取模块31、第一实例化生成模块32、第二实例化生成模块33、构建模块34，其中，

第一获取模块31，用于获取Web日志；

第一实例化生成模块32，用于基于Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，第一实体集合包括：IP实体、统一资源标识符URI实体以及Web日志实体，第二实体集合包括：行为实体和攻击事件实体；

第二实例化生成模块33，用于基于Web日志、第一实体集合以及第二实体集合，实例化生成各实体之间的关系，各实体之间的关系包括：第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系以及第一实体集合与第二实体集合之间的关系；

构建模块34，用于基于第一实体集合、第二实体集合和各实体之间的关系构建知识图谱。

本申请实施例的一种可能的实现方式，第一实例化生成模块32在基于Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合时，具体用于：

基于Web日志，实例化生成待构建的图谱中的第一实体集合，以及基于Web日志，实例化生成待构建的图谱中的第二实体集合；或者，

基于Web日志，实例化生成待构建的图谱中的第一实体集合，以及，获取告警日志，并基于告警日志，实例化生成待构建的图谱中的第二实体集合。

本申请实施例的另一种可能的实现方式，第二实例化生成模块33在基于Web日志、第一实体集合以及第二实体集合，实例化生成各实体之间的关系时，具体用于：

基于Web日志以及第一实体集合，实例化生成第一实体集合中各实体之间的关系；

基于Web日志以及第二实体集合，实例化生成第二实体集合中各实体之间的关系；

基于Web日志、第一实体集合以及第二实体集合，实例化生成第一实体集合与第二实体集合之间的关系。

本申请实施例的另一种可能的实现方式，第一实例化生成模块32在基于Web日志，实例化生成待构建的图谱中的第二实体集合时，具体用于：

基于Web日志、第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具实例化生成待构建的知识图谱中的第二实体集合；或者，

获取告警日志，并基于告警日志、Web日志、第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合。

本申请实施例的另一种可能的实现方式，Web日志中包含IP对URI的请求次数以及时间窗口内的请求序列；

其中，第一实例化生成模块在基于Web日志、第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合时，具体用于：

基于IP对URI的请求次数以及时间窗口内的请求序列，实例化生成行为实体；

基于行为实体，实例化生成攻击事件实体。

本申请实施例的另一种可能的实现方式，装置30还包括：第三实例化模块和第四实例化生成模块，其中，

第三实例化生成模块，用于基于Web日志和URI实体，实例化生成待构建的知识图谱中的URI抽象实体；

第四实例化生成模块，用于基于Web日志、URI实体和URI抽象实体，实例化生成URI实体和URI抽象实体之间的关系。

本申请实施例的另一种可能的实现方式，装置30还包括：第二获取模块、第五实例化生成模块和第六实例化生成模块，其中，

第二获取模块，用于获取资产拓扑信息和Web服务接口信息；

第五实例化生成模块，用于基于资产拓扑信息以及Web服务接口信息，实例化生成第三实体集合以及第三实体集合中各实体之间的关系，第三实体集合包括：服务实体和服务器实体；

第六实例化生成模块，用于基于Web服务接口信息、web日志、第一实体集合以及第三实体集合，实例化生成第一实体集合和第三实体集合之间的关系。

本申请实施例的另一种可能的实现方式，第五实例化生成模块在基于资产拓扑信息以及Web服务接口信息，实例化生成第三实体集合以及第三实体集合中各实体之间的关系时，具体用于：

根据Web服务接口信息实例化生成服务实体；

根据资产拓扑信息实例化生成服务器实体；

根据服务实体、服务器实体以及资产拓扑信息，实例化生成第三实体集合中各实体之间的关系。

本申请实施例的另一种可能的实现方式，第六实例化生成模块在基于Web服务接口信息、Web日志、第一实体集合以及第三实体集合，确定第一实体集合和第三实体集合之间的关系时，具体用于：

基于Web服务接口信息、Web日志、第一实体集合以及第三实体集合，确定URI实体与服务实体之间的关系，以得到第一实体集合和第三实体集合之间的关系。

本申请实施例的另一种可能的实现方式，构建模块44在基于第一实体集合、第二实体集合和各实体之间的关系构建知识图谱时，具体用于：

基于以下信息，构建知识图谱：

所述第一实体集合；

所述第二实体集合；

所述第三实体集合；

所述URI抽象实体；

所述第一实体集合中各实体之间的关系；

所述第二实体集合中各实体之间的关系；

所述第三实体集合中各实体之间的关系；

所述第一实体集合与所述第二实体集合之间的关系；

所述第一实体集合与所述第三实体集合之间的关系；

所述URI实体和所述URI抽象实体之间的关系。

本申请实施例的另一种可能的实现方式，装置30还包括：上传模块和分析模块，其中，

上传模块，用于将构建的知识图谱上传到图数据库；

分析模块，用于基于知识图谱进行攻击溯源分析，得到与攻击事件相关联的各实体。

本申请实施例提供了一种知识图谱构建的装置，与相关技术相比，在本申请实施例中，通过获取Web日志，基于Web日志，实例化生成待构建的图谱中的IP实体、统一资源标识符URI实体、Web日志实体、行为实体和攻击事件实体等实体，基于上述生成的各个实体以及Web日志，可以实例化生成各实体之间的关系，从而可以根据各实体以及各实体之间的关系，构建知识图谱，进而当出现网络攻击时，可以基于知识图谱中各实体以及各实体之间的关系，快速进行攻击溯源分析，以进一步可以提高分析Web日志的效率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种知识图谱构建的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，电子设备40还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备40的结构并不构成对本申请实施例的限定。

处理器401可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。

存储器403可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器403用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，在本申请实施例中，通过获取Web日志，基于Web日志，实例化生成待构建的图谱中的IP实体、统一资源标识符URI实体、Web日志实体、行为实体和攻击事件实体等实体，基于上述生成的各个实体以及Web日志，可以实例化生成各实体之间的关系，从而可以根据各实体以及各实体之间的关系，构建知识图谱，进而当出现网络攻击时，可以基于知识图谱中各实体以及各实体之间的关系，快速进行攻击溯源分析，以进一步可以提高分析Web日志的效率。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种知识图谱构建的方法，其特征在于，包括：

获取Web日志；

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，所述第一实体集合包括：IP实体、统一资源标识符URI实体以及Web日志实体，所述第二实体集合包括：行为实体和攻击事件实体；

基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系，所述各实体之间的关系包括：第一实体集合中各实体之间的关系、第二实体集合中各实体之间的关系以及第一实体集合与第二实体集合之间的关系；

基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱；

所述基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，包括：基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及，获取告警日志，并基于所述告警日志，实例化生成待构建的图谱中的第二实体集合；

基于Web日志，实例化生成待构建的图谱中的第二实体集合，包括：获取告警日志，并基于告警日志、Web日志、第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合；

所述方法还包括：

基于所述Web日志和所述URI实体，实例化生成待构建的知识图谱中的URI抽象实体；

基于所述Web日志、所述URI实体和所述URI抽象实体，实例化生成URI实体和URI抽象实体之间的关系；

所述方法还包括：

获取资产拓扑信息和Web服务接口信息；

基于所述资产拓扑信息以及所述Web服务接口信息，实例化生成第三实体集合以及第三实体集合中各实体之间的关系，所述第三实体集合包括：服务实体和服务器实体；

基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，实例化生成所述第一实体集合和所述第三实体集合之间的关系。

2.根据权利要求1所述的方法，其特征在于，所述基于所述Web日志，实例化生成待构建的图谱中的第一实体集合以及第二实体集合，包括：

基于所述Web日志，实例化生成待构建的图谱中的第一实体集合，以及基于所述Web日志，实例化生成待构建的图谱中的第二实体集合；

其中，所述基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成各实体之间的关系，包括：

基于所述Web日志以及所述第一实体集合，实例化生成第一实体集合中各实体之间的关系；

基于所述Web日志以及所述第二实体集合，实例化生成第二实体集合中各实体之间的关系；

基于所述Web日志、所述第一实体集合以及所述第二实体集合，实例化生成所述第一实体集合与所述第二实体集合之间的关系。

3.根据权利要求1或2所述的方法，其特征在于，基于所述Web日志，实例化生成待构建的图谱中的第二实体集合，包括以下任一项：

基于所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，并通过行为建模工具实例化生成待构建的知识图谱中的第二实体集合；

获取告警日志，并基于所述告警日志、所述Web日志、所述第一实体集合以及第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合。

4.根据权利要求3所述的方法，其特征在于，所述Web日志中包含IP对URI的请求次数以及时间窗口内的请求序列；

其中，基于所述Web日志、所述第一实体集合以及所述第一实体集合中各实体之间的关系，实例化生成待构建的知识图谱中的第二实体集合，包括：

基于所述IP对URI的请求次数以及所述时间窗口内的请求序列，实例化生成行为实体；

基于所述行为实体，实例化生成攻击事件实体。

5.根据权利要求1所述的方法，其特征在于，所述基于所述资产拓扑信息以及所述Web服务接口信息，生成第三实体集合以及第三实体集合中各实体之间的关系，包括：

根据所述Web服务接口信息实例化生成所述服务实体；

根据所述资产拓扑信息实例化生成所述服务器实体；

根据所述服务实体、所述服务器实体以及所述资产拓扑信息，实例化生成所述第三实体集合中各实体之间的关系；

其中，所述基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述第一实体集合和所述第三实体集合之间的关系，包括：

基于所述Web服务接口信息、所述Web日志、所述第一实体集合以及所述第三实体集合，确定所述URI实体与所述服务实体之间的关系，以得到所述第一实体集合和所述第三实体集合之间的关系。

6.根据权利要求1或5所述的方法，其特征在于，所述基于所述第一实体集合、第二实体集合和所述各实体之间的关系构建知识图谱，包括：

基于以下信息，构建知识图谱：

所述第一实体集合；

所述第二实体集合；

所述第三实体集合；

所述URI抽象实体；

所述第一实体集合中各实体之间的关系；

所述第二实体集合中各实体之间的关系；

所述第三实体集合中各实体之间的关系；

所述第一实体集合与所述第二实体集合之间的关系；

所述第一实体集合与所述第三实体集合之间的关系；

所述URI实体和所述URI抽象实体之间的关系。

7.一种电子设备，其特征在于，包括：

一个或者多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序用于：执行根据权利要求1～6任一项所述的知识图谱构建的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～6任一项所述的一种知识图谱构建的方法。

Images