CN111274227B - 一种基于聚类分析和关联规则的数据库审计系统及方法 - Google Patents

一种基于聚类分析和关联规则的数据库审计系统及方法 Download PDF

Info

Publication number
CN111274227B
CN111274227B CN202010066145.7A CN202010066145A CN111274227B CN 111274227 B CN111274227 B CN 111274227B CN 202010066145 A CN202010066145 A CN 202010066145A CN 111274227 B CN111274227 B CN 111274227B
Authority
CN
China
Prior art keywords
data
user
database
module
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010066145.7A
Other languages
English (en)
Other versions
CN111274227A (zh
Inventor
梁满
刘迎风
冯骏
唐若培
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Big Data Center
Original Assignee
Shanghai Big Data Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Big Data Center filed Critical Shanghai Big Data Center
Priority to CN202010066145.7A priority Critical patent/CN111274227B/zh
Publication of CN111274227A publication Critical patent/CN111274227A/zh
Application granted granted Critical
Publication of CN111274227B publication Critical patent/CN111274227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于聚类分析和关联规则的数据库审计系统及方法，涉及数据库审计。若干数据采集探针，采集用户数据和行为数据并输出；第一审计分析模块，机器学习模型对用户数据进行识别得到用户画像，用户画像为正常用户时输出第一分析结果，否则输出第二分析结果；第二审计分析模块，用第一分析结果的行为数据与规则库进行匹配，匹配时输出第三分析结果，不能匹配则输出第四分析结果；第一报警单元根据第二分析结果生成第一告警信息；第二报警单元根据第四分析结果生成第二告警信息；审计报告模块根据第三分析结果、第一、二告警信息生成审计报告。提升了数据库性能，为数据库的安全运行提供了保障，实现实时审计和安全检测。

Description

一种基于聚类分析和关联规则的数据库审计系统及方法
技术领域
本发明涉及数据库审计领域，尤其涉及一种基于聚类分析和关联规则的数据库审计系统及方法。
背景技术
数据库审计系统主要用于监视并记录对数据库服务器的各类操作行为，通过对网络数据的分析，实时地、智能地解析对数据库服务器的各种操作，并记入审计数据库中以便日后进行查询、分析、过滤，实现对目标数据库审计系统的用户操作的监控和审计。当前，数据库审计系统的安全机制包括：身份识别和鉴别、访问控制、存取控制、加密、备份与恢复、推理控制与隐私保护、数据库审计七个方面，但上述身份鉴别、访问控制等机制是以防御为主的被动安全机制，并不能完全满足数据库的安全需求。数据库审计系统是一个复杂而又关键的系统，存在各种管理和技术上的风险，如果这些风险变为现实，那么企业数据将遭受严重的经济损失和法律风险，数据库产生安全问题非常难以追查和定位，因为无法查找问题发生的痕迹和证据。因此，数据库安全实时审计系统成为当下的时兴技术，这是一种基于动态安全的防御技术，但在实际应用中存在一定局限性，例如如果只实施粗粒度的审计则难以察觉入侵和攻击行为，而细粒度的审计，则有可能严重影响数据库的性能，因此在不过多影响数据库性能的情况下实现细粒度审计是非常有必要的。
发明内容
本发明为了解决上述问题，现提出一种基于聚类分析和关联规则的数据库审计系统，包括：
若干数据采集探针，设置于网络中配置的中心交换机与数据库服务器的连接链路上，用于采集所述连接链路中的实时流量数据并输出；
所述实时流量数据包括用户数据和与所述用户数据对应的行为数据；
第一审计分析模块，连接所述数据采集探针，用于根据预设的机器学习模型对所述用户数据进行识别，得到所述用户数据的用户画像，并在所述用户画像表示所述用户数据对应的用户为正常用户时输出第一分析结果，以及在所述用户画像表示所述用户数据对应的用户为异常用户时输出第二分析结果；
第二审计分析模块，分别连接所述数据采集探针和所述第一审计分析模块，用于根据所述第一分析结果，将所述正常用户的所述行为数据与预设的行为规则库中包含的若干行为规则进行匹配，并在匹配得到相应的所述行为规则时输出第三分析结果，以及在未匹配得到相应的所述行为规则时输出第四分析结果；
报警模块，分别连接所述第一审计分析模块和所述第二审计分析模块，所述报警模块具体包括：
第一报警单元，用于根据所述第二分析结果生成相应的第一告警信息并输出；
第二报警单元，用于根据所述第四分析结果生成相应的第二告警信息并输出；
审计报告模块，分别连接所述第二审计分析模块和所述报警模块，用于根据所述第三分析结果、所述第一告警信息和所述第二告警信息生成相应的审计报告。
优选的，还包括一人机交互模块，分别连接所述审计报告模块和所述报警模块，用于供审计人员查看所述审计报告。
优选的，还包括一审计资源配置模块，连接所述人机交互模块，用于通过所述人机交互模块并根据所述审计报告中审计业务的不同需求进行审计项目管理安排。
优选的，还包括一审计作业流程模块，连接所述人机交互模块，用于通过所述人机交互模块并根据所述审计报告中审计业务的不同需求进行审计作业流程管理。
优选的，还包括一审计知识库，连接所述人机交互模块，用于保存数据库审计相关资料以供所述审计人员进行查阅。
优选的，所述报警模块还包括一数据恢复单元，分别连接所述第一报警单元和所述第二报警单元，用于根据所述第一告警信息或所述第二告警信息将所述数据库审计系统恢复至收到所述第一告警信息或所述第二告警信息之间的预设时间。
优选的，还包括一模型生成模块，分别连接所述数据采集探针和所述第一审计分析模块，所述模型生成模块具体包括：
第一过滤单元，用于将所述数据采集探针采集得到的所述用户数据进行过滤，得到正常用户对应的正常用户数据。
模型创建单元，用于根据GBDT算法创建强学习器；
模型训练单元，分别连接所述数据过滤单元和所述模型创建单元，用于根据所述正常用户数据对所述强学习器进行训练，得到机器学习模型。
优选的，还包括一规则库生成模块，分别连接所述数据采集探针和所述第二审计分析模块，所述规则库生成模块具体包括：
第二过滤单元，用于将所述数据采集探针采集得到的所述行为数据进行过滤，得到正常用户对应的正常行为数据；
特征提取单元，用于对每个所述正常行为数据分别进行特征提取，每个所述正常行为数据提取得到的若干特征项形成特征向量，并将所述特征向量中的各所述特征项进行布尔化，得到布尔化向量；
数据聚类单元，连接所述特征提取单元，用于识别各所述布尔化向量中的各所述特征项的哈希值作为所述布尔化向量的元组，并根据所述元组对各所述布尔化向量进行聚类，得到若干布尔化向量集合；
每个所述布尔化向量集合中包括若干所述布尔化向量；
规则库生成单元，连接所述数据聚类单元，用于根据Apriori-TID算法分别对各所述布尔化向量集合建立关联规则，并将各所述关联规则进行保存形成行为规则库。
优选的，所述特征项包括用户名，和/或操作行为，和/或操作对象，和/或操作类型，和/或操作条件。
一种基于聚类分析和关联规则的数据库审计方法，应用于基于聚类分析和关联规则的数据库审计系统，包括：
步骤S1，所述数据库审计系统采集网络中配置的中心交换机与数据库服务器的之间的连接链路中的实时流量数据；
所述实时流量数据包括用户数据和与所述用户数据对应的行为数据；
步骤S2，所述数据库审计系统根据预设的机器学习模型对所述用户数据进行识别，得到所述用户数据的用户画像：
若所述用户画像表示所述用户数据对应的用户为正常用户，则输出第一分析结果，随后转向步骤S3；
若所述用户画像表示所述用户数据对应的用户为异常用户，则输出第二分析结果，随后转向步骤S4；
步骤S3，所述数据库审计系统根据所述第一分析结果，将所述正常用户的所述行为数据与预设的行为规则库中包含的若干行为规则进行匹配：
若匹配得到相应的所述行为规则，则输出第三分析结果，随后转向步骤S6，
若未匹配得到相应的所述行为规则，则输出第四分析结果，随后转向步骤S5；
步骤S4，所述数据库审计系统根据所述第二分析结果生成相应的第一告警信息，随后转向步骤S6；
步骤S5，所述数据库审计系统根据所述第四分析结果生成相应的第二告警信息；
步骤S6，数据审计系统根据所述第三分析结果、所述第一告警信息和所述第二告警信息生成相应的审计报告。
优选的，还包括一预先建立所述行为规则库的过程，具体包括：
步骤A1，数据审计系统将所述数据采集探针采集得到的所述行为数据进行过滤，得到正常用户对应的正常行为数据；
步骤A2，数据审计系统对每个所述正常行为数据分别进行特征提取，每个所述正常行为数据提取得到的若干特征项形成特征向量，并将所述特征向量中的各所述特征项进行布尔化，得到布尔化向量；
步骤A3,数据审计系统识别各所述布尔化向量中的各所述特征项的哈希值作为所述布尔化向量的元组，并根据所述元组对各所述布尔化向量进行聚类，得到若干布尔化向量集合；
每个所述布尔化向量集合中包括若干所述布尔化向量；
步骤A4,数据审计系统根据Apriori-TID算法分别对各所述布尔化向量集合建立关联规则，并将各所述关联规则进行保存形成行为规则库。
具有以下有益效果：
提升了数据库审计性能和效率并节约了资源，为数据库的安全运行提供了强有力的保障，实现实时审计和安全检测。
附图说明
图1为本发明较佳的实施例中，一种基于聚类分析和关联规则的数据库审计系统结构示意图；
图2为本发明较佳的实施例中，一种基于聚类分析和关联规则的数据库审计方法流程示意图；
图3为本发明较佳的实施例中，建立行为数据库的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明为了解决上述问题，现提出一种基于聚类分析和关联规则的数据库审计系统，如图1所示，包括：
若干数据采集探针1，设置于网络中配置的中心交换机与数据库服务器的连接链路上，用于采集连接链路中的实时流量数据并输出；
实时流量数据包括用户数据和与用户数据对应的行为数据；
第一审计分析模块2，连接数据采集探针1，用于根据预设的机器学习模型对用户数据进行识别，得到用户数据的用户画像，并在用户画像表示用户数据对应的用户为正常用户时输出第一分析结果，以及在用户画像表示用户数据对应的用户为异常用户时输出第二分析结果；
第二审计分析模块3，分别连接数据采集探针1和第一审计分析模块2，用于根据第一分析结果，将正常用户的行为数据与预设的行为规则库中包含的若干行为规则进行匹配，并在匹配得到相应的行为规则时输出第三分析结果，以及在未匹配得到相应的行为规则时输出第四分析结果；
报警模块4，分别连接第一审计分析模块2和第二审计分析模块3，报警模块4具体包括：
第一报警单元41，用于根据第二分析结果生成相应的第一告警信息并输出；
第二报警单元42，用于根据第四分析结果生成相应的第二告警信息并输出；
审计报告模块5，分别连接第二审计分析模块3和报警模块4，用于根据第三分析结果、第一告警信息和第二告警信息生成相应的审计报告。
具体地，本实施例中，在考虑数据库审计系统的流量数据压力的前提下，采用‘网络监听’的方式采集实时流量数据中的用户数据得到用户画像与输入实时流量数据中的行为数据到‘嵌入式’系统中的行为规则库进行审计，不仅能提升数据库审计系统的性能，更能减轻对数据库审计系统的压力。优选数据采集探针利用“网络监听”方式对流量数据不需要原链路做任何的修改调整，不影响实际业务网络的正常运行，能最大限度的节省数据库的资源，同时也能保证对数据库类型的支持性，从而对数据进行完整分析，‘探针’方式的数据采集也可根据数据库大小灵活改变数据采集探针1的个数，更能适应场景需求。
其一，为了建立精准的用户自动化识别，第一审计分析模块2将采集到的用户数据利用机器学习模型建立不同的用户画像，使得不同系统、不同权限、不同访问习惯的用户得到区分，在用户画像建立的基础上对新产生的异常用户操作模式自动化快速识别，在损失发生之前可积极阻拦恶性事件的发生。
其二，第二审计分析模块3对行为数据在实施监测、解析、还原数据库操作语句的基础上，进行聚类，建立行为数据的关联规则，得到行为规则库，为数据库的安全运行提供了强有力的保障。
利用Apriori-TID算法对关联规则挖掘数据库的行为数据进行建模，融合上述‘监听式’和‘嵌入式’两种方法，进行数据库安全审计的全面监督，做到实时分析，并在发现异常和偏差时发出审计告警信号。
在审计完成后如出现警告，则进入报警模块4，其功能主要是将审计结果反馈给审计人员，在审计未出现异常时，数据库审计系统不会给审计人员任何提示，不然会大大降低体验度。
审计报告模块4，该模块在审计系统主体部分之后，具有一定统计功能。不管有无报警出现，都可按照需求生成审计报告，审计报告从数据库审计系统自动导入项目关键信息和审计发现线索，并生成模板式审计报告，并对设定时间期限内的非法行为和异常操作以报表的形式展示出来，利于审计人员总览概况，及时发现问题并注意风险。
优选的，还包括一人机交互模块6，分别连接审计报告模块5和报警模块4，用于供审计人员查看审计报告。
优选的，还包括一审计资源配置模块7，连接人机交互模块6，用于通过人机交互模块并根据审计报告中审计业务的不同需求进行审计项目管理安排。
具体地，本实施例中，审计资源配置模块7是针对审计项目管理而设置的，根据审计业务的不同类型和范围，在甘特图日历表中安排审计项目，包括审计人员的配备、审计时间的安排、费用预算管理等；
优选的，还包括一审计作业流程模块8，连接人机交互模块6，用于通过人机交互模块并根据审计报告中审计业务的不同需求进行审计作业流程管理。
具体地，本实施例中，审计作业流程模块8是将手工环境下的审计文档电子化和规范化，单元中包含了审计计划的编制、执行与审核、审计工作底稿、审计日志和报表等，有利于审计信息的共享和审计质量的监控；
优选的，还包括一审计知识库9，连接人机交互模块6，用于保存数据库审计相关资料以供审计人员进行查阅。
具体地，本实施例中，审计知识库9是为提高审计人员能力而设计的，包含判断审计问题的法规库、增强风险意识的风险感知库、学习审计方法的审计理论库、保存审计资料的审计档案库等。
优选的，报警模块4还包括一数据恢复单元43，分别连接第一报警单元41和第二报警单元42，用于根据第一告警信息或第二告警信息将数据库审计系统恢复至收到第一告警信息或第二告警信息之间的预设时间。
具体地，本实施例中，当数据库审计系统已经受到破坏时，报警模块4还要具有一定的恢复功能，使数据库审计系统能够恢复至某一特定时间，以保证数据库审计系统的正常运行，另外将没有受到破坏的数据及时隔离。报警模块3发出报警的同时提取web业务端和数据库端的协议流量，通过智能自动多层关联，关联出每条SQL语句所对应URL，以及其原始客户端IP地址等信息，实现追踪溯源。
优选的，还包括一模型生成模块10，分别连接数据采集探针1和第一审计分析模块2，模型生成模块10具体包括：
第一过滤单元101，用于将数据采集探针采集得到的用户数据进行过滤，得到正常用户对应的正常用户数据。
模型创建单元102，用于根据GBDT算法创建强学习器；
模型训练单元103，分别连接第一过滤单元101和模型创建单元102，用于根据正常用户数据对强学习器进行训练，得到机器学习模型。
具体地，本实施例中，模型创建单元102创建强学习器的过程如下，首先创建一弱学习器，弱学习器的函数表达式为：
Figure BDA0002376016140000101
其中，f0(x)为弱学习器，L(yi,c)为作为样本的行为数据位置；
将行为数据输入弱学习器中进行初始化学习以获得残差，同时得到一新的回归树：
Figure BDA0002376016140000102
其中，rim为残差；fm-1(x(为新的回归树；
新的回归树分成若干叶子节点区域，并对若干叶子节点区域进行拟合，并得到一最佳拟合值，最佳拟合值的函数表达式为：
Figure BDA0002376016140000103
其中，rjm为叶子节点区域最佳拟合值，L(yi,fm-1(xi)+γ)为新的样本位置；
通过上述拟合，从弱学习器创建得到一中间学习器，中间学习器的函数表达式为：
Figure BDA0002376016140000104
其中，fm(x)为中间学习器，γjmI(xεRjm)为叶子节点区域残差；
通过对中间学习器进行训练，并得到强学习器，强学习器的函数表达式为：
Figure BDA0002376016140000105
优选的，还包括一规则库生成模块11，分别连接数据采集探针1和第二审计分析模块3，规则库生成模块11具体包括：
第二过滤单元111，用于将数据采集探针采集得到的行为数据进行过滤，得到正常用户对应的正常行为数据；
特征提取单元112，连接第二过滤单元111，用于对每个正常行为数据分别进行特征提取，每个正常行为数据提取得到的若干特征项形成特征向量，并将特征向量中的各特征项进行布尔化，得到布尔化向量；
数据聚类单元113，连接特征提取单元112，用于识别各布尔化向量中的各特征项的哈希值作为布尔化向量的元组，并根据元组对各布尔化向量进行聚类，得到若干布尔化向量集合；
每个布尔化向量集合中包括若干布尔化向量；
规则库生成单元114，连接数据聚类单元113，用于根据Apriori-TID算法分别对各布尔化向量集合建立关联规则，并将各关联规则进行保存形成行为规则库。
具体地，本实施例中，特征提取单元112对行为数据中的的用户名、操作行为、操作对象这三种特征项分别进行特征提取，再对每个行为数据提取的特征集合得到特征向量，然后对特征向量中的各特征进行布尔化得到布尔化向量，识别布尔化向量中的各特征项的哈希值作为布尔化向量的元组，通过元组对布尔化向量进行聚类得到布尔化向量集合。优选的，对行为数据中的上述三种特征项进行补充，可以增加操作类型，操作条件以及嵌套查询为特征项来建立更加准确的行为规则库；优选的，识别各布尔化向量中的各特征项的哈希值作为布尔化向量的元组，可以通过对该用户类权限内的常用操作：全局操作、权限操作和普通操作等将布尔化向量进行聚类；
Apriori-TID对Apriori中的每次对数据集D进行迭代来计算候选项集支持度的方法做了改进，只要在第一次遍历后就不用再采用原始数据库，而只要只用用前一次候选集M，M的形式为:(TID,{Xk})，其中，TID是事物的标识，xK表示K-项集，这就直接避免了对数据库的重复扫描。
优选的，特征项包括用户名，和/或操作行为，和/或操作对象，和/或操作类型，和/或操作条件。
一种基于聚类分析和关联规则的数据库审计方法，应用于基于聚类分析和关联规则的数据库审计系统，如图2所示，包括：
步骤S1，数据库审计系统采集网络中配置的中心交换机与数据库服务器的之间的连接链路中的实时流量数据；
实时流量数据包括用户数据和与用户数据对应的行为数据；
步骤S2，数据库审计系统根据预设的机器学习模型对用户数据进行识别，得到用户数据的用户画像：
若用户画像表示用户数据对应的用户为正常用户，则输出第一分析结果，随后转向步骤S3；
若用户画像表示用户数据对应的用户为异常用户，则输出第二分析结果，随后转向步骤S4；
步骤S3，数据库审计系统根据第一分析结果，将正常用户的行为数据与预设的行为规则库中包含的若干行为规则进行匹配：
若匹配得到相应的行为规则，则输出第三分析结果，随后转向步骤S6，
若未匹配得到相应的行为规则，则输出第四分析结果，随后转向步骤S5；
步骤S4，数据库审计系统根据第二分析结果生成相应的第一告警信息，随后转向步骤S6；
步骤S5，数据库审计系统根据第四分析结果生成相应的第二告警信息；
步骤S6，数据库审计系统根据第三分析结果、第一告警信息和第二告警信息生成相应的审计报告。
优选的，还包括一预先建立行为规则库的过程，如图3所示，具体包括：
步骤A1，数据审计系统将数据采集探针采集得到的行为数据进行过滤，得到正常用户对应的正常行为数据；
步骤A2，数据审计系统对每个正常行为数据分别进行特征提取，每个正常行为数据提取得到的若干特征项形成特征向量，并将特征向量中的各特征项进行布尔化，得到布尔化向量；
步骤A3,数据审计系统识别各布尔化向量中的各特征项的哈希值作为布尔化向量的元组，并根据元组对各布尔化向量进行聚类，得到若干布尔化向量集合；
每个布尔化向量集合中包括若干布尔化向量；
步骤A4,数据审计系统根据Apriori-TID算法分别对各布尔化向量集合建立关联规则，并将各关联规则进行保存形成行为规则库。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (11)

1.一种基于聚类分析和关联规则的数据库审计系统，其特征在于，包括：
若干数据采集探针，设置于网络中配置的中心交换机与数据库服务器的连接链路上，用于采集所述连接链路中的实时流量数据并输出；
所述实时流量数据包括用户数据和与所述用户数据对应的行为数据；
第一审计分析模块，连接所述数据采集探针，用于根据预设的机器学习模型对所述用户数据进行识别，得到所述用户数据的用户画像，并在所述用户画像表示所述用户数据对应的用户为正常用户时输出第一分析结果，以及在所述用户画像表示所述用户数据对应的用户为异常用户时输出第二分析结果；
第二审计分析模块，分别连接所述数据采集探针和所述第一审计分析模块，用于根据所述第一分析结果，将所述正常用户的所述行为数据与预设的行为规则库中包含的若干行为规则进行匹配，并在匹配得到相应的所述行为规则时输出第三分析结果，以及在未匹配得到相应的所述行为规则时输出第四分析结果；
报警模块，分别连接所述第一审计分析模块和所述第二审计分析模块，所述报警模块具体包括：
第一报警单元，用于根据所述第二分析结果生成相应的第一告警信息并输出；
第二报警单元，用于根据所述第四分析结果生成相应的第二告警信息并输出；审计报告模块，分别连接所述第二审计分析模块和所述报警模块，用于根据所述第三分析结果、所述第一告警信息和所述第二告警信息生成相应的审计报告。
2.根据权利要求1所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一人机交互模块，分别连接所述审计报告模块和所述报警模块，用于供审计人员查看所述审计报告。
3.根据权利要求2所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一审计资源配置模块，连接所述人机交互模块，用于通过所述人机交互模块并根据所述审计报告中审计业务的不同需求进行审计项目管理安排。
4.根据权利要求2所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一审计作业流程模块，连接所述人机交互模块，用于通过所述人机交互模块并根据所述审计报告中审计业务的不同需求进行审计作业流程管理。
5.根据权利要求2所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一审计知识库，连接所述人机交互模块，用于保存数据库审计相关资料以供所述审计人员进行查阅。
6.根据权利要求1所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，所述报警模块还包括一数据恢复单元，分别连接所述第一报警单元和所述第二报警单元，用于根据所述第一告警信息或所述第二告警信息将所述数据库审计系统恢复至收到所述第一告警信息或所述第二告警信息之间的预设时间。
7.根据权利要求1所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一模型生成模块，分别连接所述数据采集探针和所述第一审计分析模块，所述模型生成模块具体包括：
第一过滤单元，用于将所述数据采集探针采集得到的所述用户数据进行过滤，得到正常用户对应的正常用户数据；
模型创建单元，用于根据GBDT算法创建强学习器；
模型训练单元，分别连接所述第一过滤单元和所述模型创建单元，用于根据所述正常用户数据对所述强学习器进行训练，得到机器学习模型。
8.根据权利要求1所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，还包括一规则库生成模块，分别连接所述数据采集探针和所述第二审计分析模块，所述规则库生成模块具体包括：
第二过滤单元，用于将所述数据采集探针采集得到的所述行为数据进行过滤，得到正常用户对应的正常行为数据；
特征提取单元，连接所述第二过滤单元，用于对每个所述正常行为数据分别进行特征提取，每个所述正常行为数据提取得到的若干特征项形成特征向量，并将所述特征向量中的各所述特征项进行布尔化，得到布尔化向量；
数据聚类单元，连接所述特征提取单元，用于识别各所述布尔化向量中的各所述特征项的哈希值作为所述布尔化向量的元组，并根据所述元组对各所述布尔化向量进行聚类，得到若干布尔化向量集合；
每个所述布尔化向量集合中包括若干所述布尔化向量；
规则库生成单元，连接所述数据聚类单元，用于根据Apriori-TID算法分别对各所述布尔化向量集合建立关联规则，并将各所述关联规则进行保存形成行为规则库。
9.根据权利要求1所述的基于聚类分析和关联规则的数据库审计系统，其特征在于，所述特征项包括用户名，和/或操作行为，和/或操作对象，和/或操作类型，和/或操作条件。
10.一种基于聚类分析和关联规则的数据库审计方法，其特征在于，应用于如权利要求1至9任一项所述的基于聚类分析和关联规则的数据库审计系统，包括：
步骤S1，所述数据库审计系统采集网络中配置的中心交换机与数据库服务器的之间的连接链路中的实时流量数据；
所述实时流量数据包括用户数据和与所述用户数据对应的行为数据；
步骤S2，所述数据库审计系统根据预设的机器学习模型对所述用户数据进行识别，得到所述用户数据的用户画像：
若所述用户画像表示所述用户数据对应的用户为正常用户，则输出第一分析结果，随后转向步骤S3；
若所述用户画像表示所述用户数据对应的用户为异常用户，则输出第二分析结果，随后转向步骤S4；
步骤S3，所述数据库审计系统根据所述第一分析结果，将所述正常用户的所述行为数据与预设的行为规则库中包含的若干行为规则进行匹配：
若匹配得到相应的所述行为规则，则输出第三分析结果，随后转向步骤S6，
若未匹配得到相应的所述行为规则，则输出第四分析结果，随后转向步骤S5；
步骤S4，所述数据库审计系统根据所述第二分析结果生成相应的第一告警信息，随后转向步骤S6；
步骤S5，所述数据库审计系统根据所述第四分析结果生成相应的第二告警信息；
步骤S6，所述数据审计系统根据所述第三分析结果、所述第一告警信息和所述第二告警信息生成相应的审计报告。
11.根据权利要求10所述的基于聚类分析和关联规则的数据库审计方法，其特征在于，还包括一预先建立所述行为规则库的过程，具体包括：
步骤A1，所述数据库审计系统将所述数据采集探针采集得到的所述行为数据进行过滤，得到正常用户对应的正常行为数据；
步骤A2，所述数据库审计系统对每个所述正常行为数据分别进行特征提取，每个所述正常行为数据提取得到的若干特征项形成特征向量，并将所述特征向量中的各所述特征项进行布尔化，得到布尔化向量；
步骤A3,所述数据库审计系统识别各所述布尔化向量中的各所述特征项的哈希值作为所述布尔化向量的元组，并根据所述元组对各所述布尔化向量进行聚类，得到若干布尔化向量集合；
每个所述布尔化向量集合中包括若干所述布尔化向量；
步骤A4,所述数据库审计系统根据Apriori-TID算法分别对各所述布尔化向量集合建立关联规则，并将各所述关联规则进行保存形成行为规则库。
CN202010066145.7A 2020-01-20 2020-01-20 一种基于聚类分析和关联规则的数据库审计系统及方法 Active CN111274227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010066145.7A CN111274227B (zh) 2020-01-20 2020-01-20 一种基于聚类分析和关联规则的数据库审计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010066145.7A CN111274227B (zh) 2020-01-20 2020-01-20 一种基于聚类分析和关联规则的数据库审计系统及方法

Publications (2)

Publication Number Publication Date
CN111274227A CN111274227A (zh) 2020-06-12
CN111274227B true CN111274227B (zh) 2023-03-24

Family

ID=71002760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066145.7A Active CN111274227B (zh) 2020-01-20 2020-01-20 一种基于聚类分析和关联规则的数据库审计系统及方法

Country Status (1)

Country Link
CN (1) CN111274227B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913944A (zh) * 2020-08-05 2020-11-10 南京先维信息技术有限公司 一种带有警报功能的高安全性大数据分析方法
CN112100617B (zh) * 2020-09-15 2023-11-24 全球能源互联网研究院有限公司 一种异常sql检测方法及装置
CN114416916B (zh) * 2020-10-12 2024-09-03 中移动信息技术有限公司 异常用户检测方法、装置、设备及存储介质
CN113472733B (zh) * 2021-05-07 2022-11-22 北京东方通软件有限公司 一种面向互联网的安全审计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556666A (zh) * 2009-05-21 2009-10-14 中国建设银行股份有限公司 建立审计模型的方法、装置及审计系统
US8473519B1 (en) * 2008-02-25 2013-06-25 Cisco Technology, Inc. Unified communication audit tool
CN104090941A (zh) * 2014-06-30 2014-10-08 江苏华大天益电力科技有限公司 一种数据库审计系统及其审计方法
CN104156439A (zh) * 2014-08-12 2014-11-19 华北电力大学句容研究中心 一种远程运维智能审计的方法
US9558246B1 (en) * 2014-04-29 2017-01-31 Dell Software Inc. System and method for time-based clustering of data-access instances
CN109471846A (zh) * 2018-11-02 2019-03-15 中国电子科技网络信息安全有限公司 一种基于云日志分析的云上用户行为审计系统及方法
CN109977689A (zh) * 2017-12-28 2019-07-05 中国移动通信集团广东有限公司 一种数据库安全审计方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639879B (zh) * 2008-07-28 2012-06-20 成都市华为赛门铁克科技有限公司 数据库安全监控方法、装置及其系统
US20120078761A1 (en) * 2010-09-28 2012-03-29 Stephen Edward Holland Single Audit Tool

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473519B1 (en) * 2008-02-25 2013-06-25 Cisco Technology, Inc. Unified communication audit tool
CN101556666A (zh) * 2009-05-21 2009-10-14 中国建设银行股份有限公司 建立审计模型的方法、装置及审计系统
US9558246B1 (en) * 2014-04-29 2017-01-31 Dell Software Inc. System and method for time-based clustering of data-access instances
CN104090941A (zh) * 2014-06-30 2014-10-08 江苏华大天益电力科技有限公司 一种数据库审计系统及其审计方法
CN104156439A (zh) * 2014-08-12 2014-11-19 华北电力大学句容研究中心 一种远程运维智能审计的方法
CN109977689A (zh) * 2017-12-28 2019-07-05 中国移动通信集团广东有限公司 一种数据库安全审计方法、装置及电子设备
CN109471846A (zh) * 2018-11-02 2019-03-15 中国电子科技网络信息安全有限公司 一种基于云日志分析的云上用户行为审计系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于关联规则挖掘算法的审计综合管理系统研究;张晓枫等;《电网与清洁能源》;20171225(第12期);全文 *
基于聚类和关联规则建立用户行为规则的数据库审计研究;张昊迪等;《广东通信技术》;20171215(第12期);全文 *

Also Published As

Publication number Publication date
CN111274227A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111274227B (zh) 一种基于聚类分析和关联规则的数据库审计系统及方法
US11971898B2 (en) Method and system for implementing machine learning classifications
CN111931860B (zh) 异常数据检测方法、装置、设备及存储介质
CN109902072A (zh) 一种日志处理系统
CN112417477A (zh) 一种数据安全监测方法、装置、设备及存储介质
CN111881452B (zh) 一种面向工控设备的安全测试系统及其工作方法
CN111614696B (zh) 一种基于知识图谱的网络安全应急响应方法及其系统
CN103763124A (zh) 一种互联网用户行为分析预警系统及方法
CN103827810A (zh) 资产模型导入连接器
GB2455830A (en) Consolidating data sets to identify networks of people and the influence of the individual actors in the network over the network.
CN109347808B (zh) 一种基于用户群行为活动的安全分析方法
CN116112194A (zh) 用户行为分析方法、装置、电子设备及计算机存储介质
CN112905996A (zh) 基于多维度数据关联分析的信息安全溯源系统及方法
CN117273429A (zh) 事件监测方法、系统、电子设备及存储介质
CN111371581A (zh) 物联网卡业务异常检测的方法、装置、设备和介质
CN113918938A (zh) 一种持续免疫安全系统的用户实体行为分析方法及系统
CN117692203A (zh) 一种事件处置策略智能推荐方法及系统
US11170449B2 (en) Signals-based data syndication and collaboration
CN117972704A (zh) 一种区块链生态安全协同监管方法
CN117235731A (zh) 一种保密装备大数据监控预警系统
CN113923037B (zh) 一种基于可信计算的异常检测优化装置、方法及系统
CN115794469A (zh) 数据资产处理方法及装置
CN114037270A (zh) 一种工业控制安全评估系统及方法
CN112100661B (zh) 一种数据处理方法及装置
CN117376030B (zh) 流量异常检测方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant