CN111752727A - 一种基于日志分析的数据库三层关联的识别方法 - Google Patents

Abstract

本发明提供了一种基于日志分析的数据库三层关联的识别方法，通过对request日志和sql日志进行筛选和处理，通过时间窗口特征获得主体对象的相关率，并结合参数相关值确定三层关联关系。本发明提供的基于日志分析的数据库三层关联的识别方法的优点在于：仅通过对request和sql日志进行分析，就能精准识别出数据库的三层关联，不需要对系统进行改造，成本较低，在得到表K后能够对现有日志进行三层关联识别，对新的日志进行三层关联的预测，而且本发明提供的方法是根据历史数据不断更新的，能够不断学习，随着数据样本越来越多，识别的准确性也越来越高；通过参数的相关值和主体对象的相关率综合考虑关联性排序，识别结果准确。

Description

一种基于日志分析的数据库三层关联的识别方法

技术领域

本发明涉及数据安全技术领域，尤其涉及一种基于日志分析的数据库三层关联的识别方法。

背景技术

数据库的三层关联主要是指前台访问日志和数据库记录日志的关系。构建起有效的三层关系，可以对应用操作进行有效的溯源，可以找出数据泄露的前台页面等等。所以如何精准的识别三层关联成为数据库安全审计的重要任务；现有的技术大多数是基于HOOK技术(钩子函数)实现三层关联的识别的，即通过对系统进行改造，在访问页面的日志中留下水印，在数据库日志中也留下相关的水印，通过水印对比，识别出三层关联。使用此类方法，的确可以提高识别的精准度，但是对系统进行改造工作非常耗时，尤其是一些并发性强的系统，改造难度大，而且实现起来还对生产系统产生负面效果。

公开号为CN110990168A的发明专利申请请求公开一种三层关联信息的生成方法，其根据目标API将线程ID及对应的WEB访问数据包、数据库访问数据包和协议类型相关联，实现三层关联信息，但是其只能针对已经存在的数据查找关联，无法对新数据预测识别，而且基于ID进行关联的方式局限性较大，识别精度不高。

发明内容

本发明所要解决的技术问题在于提供一种无须对系统进行改造，基于日志分析即可精确识别三层关联关系的识别方法。

本发明是通过以下技术方案解决上述技术问题的：一种基于日志分析的数据库三层关联识别方法，包括以下步骤：

步骤1：提取总时长为t_总的时间段内的前台操作日志request日志和数据库操作日志sql日志，定义表K为空表；

步骤2：基于操作请求的类别剔除无关操作请求；

步骤3：将request日志和sql日志中的参数移除，提取去参后的request日志主体对象和sql日志主体对象；

步骤4：以固定的时间间隔将时长为t_总的日志数据划分为连续的时间段，统计request日志主体对象和sql日志主体对象在每个时间段的操作次数得到表T；

步骤5：计算request日志主体对象与sql日志主体对象的相关率；

步骤6：重复步骤4-5，以多种预设的时间间隔划分时间轴，获取不同时间间隔下的每一个request日志主体对象与每一个sql日志主体对象的相关率，保留相关率最大值，记录总时长t_总，得到表G；

步骤7：如果表K为空表，则令表K＝表G；执行步骤8，否则直接执行步骤8；

步骤8：根据表G和表K的内容更新每个request日志主体对象与每个sql日志主体对象的相关率，并将结果更新到表K中；；

步骤9：在待预测数据的request日志中，解析传递参数，提取请求内容中符合“＝*”匹配的参数；在sql日志中，提取sql语句中符合“＝*”匹配的参数；

步骤10：基于步骤9提取的参数，计算参数相关值；

步骤11：对每一个sql日志，按照参数相关值和相关率对request日志进行排序，取排名最高的前N个request日志主体对象作为与该sql日志主体对象可能有关系的对象；即得到数据库的三层关联。

本发明仅通过对request和sql日志进行分析，就能精准识别出数据库的三层关联，不需要对系统进行改造，在得到表K后能够对现有日志进行三层关联识别，对新的日志进行三层关联的预测，而且本发明提供的方法是根据历史数据不断更新的，能够不断学习，随着数据样本越来越多，识别的准确性也越来越高。

优选的，步骤1中所述的request日志包括请求、请求内容、时间戳；sql日志包括sql语句和操作时间。

优选的，步骤2中剔除无关操作请求的方法为：对request日志，剔除掉后缀为css，js，jpg，gif，ico，png的请求；对sql操作日志，剔除掉commit记录。

优选的，步骤3中将request日志的请求的参数替换成符号？，将请求内容中的参数替换成？，将替换后的请求和请求内容合并得到request日志主体对象。

优选的，步骤3中将sql日志中的参数替换成符号？，替换后的sql语句为sql日志主体对象。

优选的，步骤4中统计每个时间段主体对象的操作次数得到表T，表T的内容如下：

T(request)：request日志主体对象、第一个时间段t₁的操作次数R₁、第二个时间段t₂的操作次数R₂、······、第i个时间段t_i的操作次数R_i；其中i∈[1,n]，n为总的时间段数；

T(sql)：sql日志主体对象，第一个时间段t₁的操作次数S₁、第二个时间段t₂的操作次数S₂、······、第i个时间段t_i的操作次数S_i。

优选的，步骤5所述的计算相关率η的方法为：

步骤6中预设的时间间隔分别为3s、5s和7s，分别计算获得不同时间间隔下request日志主体对象和sql日志主体对象的相关率。

优选的，步骤8所述的更新相关率η的方法为：

其中，η_K表示表K中的相关率，η_G表示表G中的相关率；K_t和G_t分别表示表K总时长和表G的总时长。

优选的，步骤10所述的相关值为request参数集合中与sql参数集合相同的参数数量。

本发明提供的基于日志分析的数据库三层关联的识别方法的优点在于：仅通过对request和sql日志进行分析，就能精准识别出数据库的三层关联，不需要对系统进行改造，成本较低，在得到表K后能够对现有日志进行三层关联识别，对新的日志进行三层关联的预测，而且本发明提供的方法是根据历史数据不断更新的，能够不断学习，随着数据样本越来越多，识别的准确性也越来越高；通过参数的相关值和主体对象的相关率综合考虑关联性排序，识别结果准确。

附图说明

图1为本发明的实施例提供的基于日志分析的数据库三层关联的识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

如图1所示，本实施例提供了一种基于日志分析的数据库三层关联的识别方法，包括以下步骤：

步骤1：提取总时长为t_总的时间段内的前台操作日志request日志和数据库操作日志sql日志，定义表K为空表；

所述的request日志包括请求、请求内容、时间戳；sql日志包括sql语句和操作时间。

本实施例提取日志为：

request日志(id,request,request-body,time)

1,http://192.168.0.1:8888/login？user＝james&pwd＝123456,,2020年6月9日14:51:18

2,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,,2020年6月9日14:51:22

3,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,edituser＝true,2020年6月9日14:51:24

sql日志(id,sql,时间)

1,select*from user where user＝'james'and pwd＝'123456',2020年6月9日14:51:18

2,select*from user where user＝'kobe'and pwd＝'123456',2020年6月9日14:51:22

3,update user where user＝'kobe'and pwd＝'123456',2020年6月9日14:51:24

步骤2：基于操作请求的类别剔除无关操作请求；

具体的无关操作请求的定义根据数据库和用户的不同进行定义，本实施例中对于request日志，剔除掉后缀为css，js，jpg，gif，ico，png的请求；对sql操作日志，剔除掉commit(提交)记录。

步骤3：将request日志和sql日志中的参数移除，提取去参后的request日志主体对象和sql日志主体对象；

移除参数的方法为：将request日志的请求的参数替换成符号？，将请求内容中的参数替换成？，将替换后的请求和请求内容合并得到request日志主体对象；将sql日志中的参数替换成符号？，sql日志中的参数表现形式为“＝‘字符’”或者“＝数字”，将这两种表现形式均替换为“＝？”；替换后的sql语句即为sql日志主体对象。

本实施例中以将参数替换为符号？来进行说明，实际使用中可替换为任意符号，但request日志和sql日志替换所用的符号需要分别统一；

对提取的request日志进行去参，其中1、2条日志对应的主体对象为：

http://192.168.0.1:8888/login？user＝？&pwd＝？

第3条日志对应的主体对象为：

http://192.168.0.1:8888/login？user＝？&pwd＝？edituser＝？

对sql日志进行去参，其中1、2条日志对应的主体对象为：

select*from user where user＝？and pwd＝？

第3条日志对应的主体对象为：

update user where user＝？and pwd＝？

步骤4：以固定的时间间隔将时长为t_总的日志数据划分为连续的时间段，记录每个request日志主体对象和每个sql日志主体对象在每个时间段的操作次数，统计得到表T，内容如下：

T(request)：request日志主体对象、第一个时间段t₁的操作次数R₁、第二个时间段t₂的操作次数R₂、······、第i个时间段t_i的操作次数R_i；其中i∈[1,n]，n为总的时间段数；

T(sql)：sql日志主体对象，第一个时间段t₁的操作次数S₁、第二个时间段t₂的操作次数S₂、······、第i个时间段t_i的操作次数S_i。

本实施例总共提取了200s的日志数据，上面展示的三条request日志和sql日志为前3s的日志数据，在以3s为时间间隔划分所有日志数据的情况下，本实施例得到的表T内容如下：

步骤5：计算request日志主体对象与sql日志主体对象的相关率η；

步骤6：重复步骤4-5，以多种预设的时间间隔划分时间轴，获取不同时间间隔下的每一个request日志主体对象与每一个sql日志主体对象的相关率，保留相关率最大值，记录总时长t_总，得到表G；本实施例中预设的时间间隔分别取3s、5s和7s；在使用本实施例提供的方法时可根据需要设置时长；最终得到的表G是一个表征request日志主体对象和sql日志主体对象相关率的二维表格；本实施例以200s的数据得到的表G如下：

在总时长不同的情况下，相关率一般会发生变化，因此在确定三层关联时需要考虑数据的时长。

步骤7：如果表K为空表，则令表K＝表G；执行步骤8，否则直接执行步骤8；

步骤8：根据表G和表K的内容更新每个request日志主体对象与每个sql日志主体对象的相关率，并将结果更新到表K中；更新相关率η的方法为：

其中，η_K表示表K中的相关率，η_G表示表G中的相关率；K_t和G_t分别表示表K的总时长和表G的总时长。

由此可以确定表K能够用来表征request日志主体对象与sql日志主体对象的三层关联，在得到表K后即可对其他数据进行三层关联的识别，其中包括对新的日志数据进行三层关联的预测。

步骤9：在待预测数据的request日志中，解析传递参数，提取请求内容中符合“＝*”匹配的参数；在sql日志中，提取sql语句中符合“＝*”匹配的参数；其中*表示通配符。

本实施例提取的参数如下：

request日志(id,request,参数列表)

1,http://192.168.0.1:8888/login？user＝james&pwd＝123456,['james','123456']

2,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,['kobe','123456']

3,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,edituser＝true,['kobe','123456',true]

sql日志(id,request,参数列表)

1,select*from user where user＝'james'and pwd＝'123456',['james','123456']

2,select*from user where user＝'kobe'and pwd＝'123456',['kobe','123456']

3,update user where user＝'kobe'and pwd＝'123456',['kobe','123456']

步骤10：基于步骤9提取的参数，计算参数相关值；所述相关值为request参数集合中与sql参数集合相同的参数数量；

本实施例中的参数相关值如下：

步骤11：对每一个sql日志，按照参数相关值和相关率对request日志进行排序，取排名最高的前N个request日志主体对象作为与该sql日志主体对象可能有关系的对象；即得到数据库的三层关联。

对于sql日志：select*from user where user＝'james'and pwd＝'123456',['james','123456']，按照参数相关值和主体对象相关率进行排序得到的结果如下：

id，request，排序

1,http://192.168.0.1:8888/login？user＝james&pwd＝123456,1

2,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,2

3,http://192.168.0.1:8888/login？user＝kobe&pwd＝123456,3

由此得到该sql日志的三层关联关系。

Claims (9)

1.一种基于日志分析的数据库三层关联识别方法，其特征在于：包括以下步骤：

步骤1：提取总时长为t_总的时间段内的前台操作日志request日志和数据库操作日志sql日志，定义表K为空表；

步骤2：基于操作请求的类别剔除无关操作请求；

步骤3：将request日志和sql日志中的参数移除，提取去参后的request日志主体对象和sql日志主体对象；

步骤4：以固定的时间间隔将时长为t_总的日志数据划分为连续的时间段，统计request日志主体对象和sql日志主体对象在每个时间段的操作次数得到表T；

步骤5：计算request日志主体对象与sql日志主体对象的相关率；

步骤6：重复步骤4-5，以多种预设的时间间隔划分时间轴，获取不同时间间隔下的每一个request日志主体对象与每一个sql日志主体对象的相关率，保留相关率最大值，记录总时长t_总，得到表G；

步骤7：如果表K为空表，则令表K＝表G；执行步骤8，否则直接执行步骤8；

步骤8：根据表G和表K的内容更新每个request日志主体对象与每个sql日志主体对象的相关率，并将结果更新到表K中；；

步骤9：在待预测数据的request日志中，解析传递参数，提取请求内容中符合“＝*”匹配的参数；在sql日志中，提取sql语句中符合“＝*”匹配的参数；

步骤10：基于步骤9提取的参数，计算参数相关值；

步骤11：对每一个sql日志，按照参数相关值和相关率对request日志进行排序，取排名最高的前N个request日志主体对象作为与该sql日志主体对象可能有关系的对象；即得到数据库的三层关联。

2.根据权利要求1所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤1中所述的request日志包括请求、请求内容、时间戳；sql日志包括sql语句和操作时间。

3.根据权利要求2所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤2中剔除无关操作请求的方法为：对request日志，剔除掉后缀为css，js，jpg，gif，ico，png的请求；对sql操作日志，剔除掉commit记录。

4.根据权利要求1所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤3中将request日志的请求的参数替换成符号？，将请求内容中的参数替换成？，将替换后的请求和请求内容合并得到request日志主体对象。

5.根据权利要求4所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤3中将sql日志中的参数替换成符号？，替换后的sql语句为sql日志主体对象。

6.根据权利要求1所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤4中统计每个时间段主体对象的操作次数得到表T，表T的内容如下：

T(request)：request日志主体对象、第一个时间段t₁的操作次数R₁、第二个时间段t₂的操作次数R₂、······、第i个时间段t_i的操作次数R_i；其中i∈[1,n]，n为总的时间段数；

T(sql)：sql日志主体对象，第一个时间段t₁的操作次数S₁、第二个时间段t₂的操作次数S₂、······、第i个时间段t_i的操作次数S_i。

7.根据权利要求6所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：

步骤5所述的计算相关率η的方法为：

步骤6中预设的时间间隔分别为3s、5s和7s，分别计算获得不同时间间隔下request日志主体对象和sql日志主体对象的相关率。

8.根据权利要求7所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤8所述的更新相关率η的方法为：

其中，η_K表示表K中的相关率，η_G表示表G中的相关率；K_t和G_t分别表示表K总时长和表G的总时长。

9.根据权利要求1所述的一种基于日志分析的数据库三层关联识别方法，其特征在于：步骤10所述的相关值为request参数集合中与sql参数集合相同的参数数量。

Images