CN116186777A - 一种mpp数据库的审计方法及装置 - Google Patents

一种mpp数据库的审计方法及装置 Download PDF

Info

Publication number
CN116186777A
CN116186777A CN202310207159.XA CN202310207159A CN116186777A CN 116186777 A CN116186777 A CN 116186777A CN 202310207159 A CN202310207159 A CN 202310207159A CN 116186777 A CN116186777 A CN 116186777A
Authority
CN
China
Prior art keywords
audit log
log data
component
data
audit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310207159.XA
Other languages
English (en)
Inventor
陈聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qizhi Technology Co ltd
Original Assignee
Qizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qizhi Technology Co ltd filed Critical Qizhi Technology Co ltd
Priority to CN202310207159.XA priority Critical patent/CN116186777A/zh
Publication of CN116186777A publication Critical patent/CN116186777A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种MPP数据库的审计方法及装置。应用于数据处理服务器，包括：获取目标数据库的审计日志数据的状态；当审计日志数据处于正常状态时，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件；向用户展示异常语句。本申请通过采用上述方法，解决StarRocks组件缺少较好的监控审计功能，不能对存在误删、慢查询等情况的语句实现可追溯，并保持集群的稳定性和数据的安全性的问题。

Description

一种MPP数据库的审计方法及装置
技术领域
本申请涉及数据处理的技术领域，特别是一种MPP数据库的审计方法及装置。
背景技术
数据库审计是指以安全事件为中心，以全面审计和精确审计为基础，实时记录网络上的数据库活动，对数据库操作进行细粒度审计的合规性管理，对数据库遭受到的风险行为进行实时告警。它通过对用户访问数据库行为的记录、分析和汇报，来帮助用户事后生成合规报告、事故追根溯源，同时通过大数据搜索技术提供高效查询审计报告，定位事件原因，以便日后查询、分析、过滤，实现加强内外部数据库网络行为的监控与审计，提高数据资产安全。
其中，StarRocks 是一种极速全场景 MPP数据库，同时兼容 MySQL 5.7 协议和MySQL 生态。针对数据库中的执行语句，StarRocks缺少较好的监控审计功能。而随着各类业务使用数据库的场景越来越多，对权限管理和审计功能越发重视，这就要求需要对存在误删、慢查询等情况的语句实现可追溯，以保持集群的稳定性和数据的安全性。
目前，亟需一种MPP数据库的审计方法及装置来解决相关技术中存在的问题。
发明内容
本申请提供了一种MPP数据库的审计方法及装置，用于解决StarRocks数据库缺少较好的监控审计功能，不能保持集群的稳定性和数据的安全性的问题。
本申请第一方面提供一种MPP数据库的审计方法，应用于数据处理服务器，方法包括：获取目标数据库的审计日志数据的状态；当审计日志数据处于正常状态时，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件；向用户展示异常语句。
本申请通过采用上述方法，完善StarRocks数据库的审计功能，及时找到数据库中的异常语句，以便于用户后续进行追踪、修改，提高了StarRocks集群的稳定性和数据的安全性。
可选的，目标数据库包括至少一个FE节点，获取目标数据库的审计日志数据的状态具体包括：向FE节点的配置文件中添加开启审计日志配置，以便于获得FE节点的审计日志文件；检测审计日志文件的状态，审计日志文件的状态为目标数据库的审计日志数据的状态。
本申请通过采用上述方法，通过获取FE节点的审计日志文件，根据FE节点的审计日志文件确定审计日志数据的状态。
可选的，ELK架构采用预设数量的linux服务器构建。
可选的，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，具体包括：采用Logstash组件对审计日志数据进行解析处理，得到已解析审计日志数据；采用ElastSearch组件对已解析审计日志数据进行解析验证，以便于验证解析处理的结果是否达到预设要求；当解析处理的结果达到预设要求时，采用Kibana组件获取审计日志数据中的异常语句。
本申请通过采用上述方法，在预先构建的ELK架构中对审计日志数据进行处理，同时在采用Kibana组件获取审计日志数据中的异常语句之前，采用ElastSearch组件对已解析审计日志数据进行解析验证，提高了获取异常语句的准确度。
可选的，采用Logstash组件对审计日志数据进行解析处理，得到已解析审计日志数据，具体包括：通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据，预设正则表达式根据审计日志的格式设定。
本申请通过采用上述方法，通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据。
可选的，当解析处理的结果达到预期要求时，采用Kibana组件获取审计日志数据中的异常语句之前，方法还包括：将已解析审计日志数据写入ElastSearch组件，获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比；当占比大于或等于预设占比时，确定解析处理的结果达到预期要求。
本申请通过采用上述方法，确定成功写入ElastSearch组件的数据量占已解析审计日志数据的占比达到预设占比时，再采用Kibana组件获取审计日志数据中的异常语句，提高了获取异常语句时的准确率。
可选的，审计日志数据的语句类型包括DDL以及DML。
本申请第二方面提供一种MPP数据库的审计装置，装置为数据处理服务器，数据处理服务器包括获取单元、处理单元以及展示单元；获取单元，用于获取目标数据库的审计日志数据的状态；处理单元，用于当审计日志数据处于正常状态时，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件；展示单元，用于向用户展示异常语句。
可选的，目标数据库包括至少一个FE节点，获取单元包括配置添加子单元以及状态检测子单元；配置添加子单元，向FE节点的配置文件中添加开启审计日志配置，以便于获得FE节点的审计日志文件；状态检测子单元，检测审计日志文件的状态，审计日志文件的状态为目标数据库的审计日志数据的状态。
可选的，处理单元具体包括解析子单元、验证子单元以及处理子单元；解析子单元，用于采用Logstash组件对审计日志数据进行解析处理，得到已解析审计日志数据；验证子单元，用于采用ElastSearch组件对已解析审计日志数据进行解析验证，以便于验证解析处理的结果是否达到预设要求；处理子单元，用于当解析处理的结果达到预设要求时，采用Kibana组件获取审计日志数据中的异常语句。
可选的，解析子单元包括日志添加模块以及日志解析模块；日志添加模块，用于通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；日志解析模块，用于使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据，预设正则表达式根据审计日志的格式设定。
可选的，获取单元还包括结果判断子单元；解析判断子单元，用于将已解析审计日志数据写入ElastSearch组件，获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比；当占比大于或等于预设占比时，确定解析处理的结果达到预期要求。
本申请第三方面提供一种电子设备，电子设备包括处理器、存储器、用户接口及网络接口，存储器用于存储指令，用户接口和网络接口用于给其他设备通信，处理器用于执行存储器中存储的指令，以使电子设备执行上述中任意一项的方法。
本申请第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，执行本上述中任意一项的方法。
与相关技术相比，本申请的有益效果是：完善了StarRocks数据库的审计功能，及时找到数据库中的异常语句，以便于用户后续进行追踪、修改，提高了StarRocks集群的稳定性和数据的安全性；通过获取FE节点的审计日志文件，根据FE节点的审计日志文件确定审计日志数据的状态；在预先构建的ELK架构中对审计日志数据进行处理，同时在采用Kibana组件获取审计日志数据中的异常语句之前，采用ElastSearch组件对已解析审计日志数据进行解析验证，提高了获取异常语句的准确度；通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据；确定成功写入ElastSearch组件的数据量占已解析审计日志数据的占比达到预设占比时，再采用Kibana组件获取审计日志数据中的异常语句，提高了获取异常语句时的准确率。
附图说明
图1是本申请实施例提供的一种MPP数据库的审计方法的第一流程示意图；
图2是本申请实施例提供的一种MPP数据库的审计方法的第二流程示意图；
图3是本申请实施例提供的一种MPP数据库的审计方法的第三流程示意图；
图4是本申请实施例提供的一种MPP数据库的审计方法的第四流程示意图；
图5是本申请实施例提供的一种MPP数据库的审计装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
附图标记：11、获取单元；12、处理单元；13、展示单元；600、电子设备；601、处理器；602、通信总线；603用户接口；604、网络接口；605、存储器。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例中的方法可以应用于数据处理服务器，以解决相关技术中StarRocks数据库缺少较好的监控审计功能，不能保持集群的稳定性和数据的安全性的问题。
本申请实施例中，Elastic也可以理解为是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic 实例。Logstash是一个完全开源的工具，它可以把分散的、多样化的日志日志，或者是其他数据源的数据信息进行收集、分析、处理，并将其存储供以后使用。kibana 是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的网页界面，用于实现汇总、分析和搜索重要数据日志。简单来说，ELK的核心是Elasticsearch，logstash和kibana都是为Elasticsearch服务的。使用logstash能够很方便的将其他来源的数据，比如：日志文件、数据库等方便的导入到Elasticsearch中。使用kibana可以直观清晰展示Elasticsearch中存储的数据，生成图表，帮助分析，同时提供控制台来操作Elasticsearch。
图1是本申请实施例提供的一种MPP数据库的审计方法的第一流程示意图。如图1所示，包括步骤S101-S103。
S101，获取目标数据库的审计日志数据的状态。
在本申请实施例中，目标数据库的类型为StarRocks数据库。
在一种可能的实施方式中，目标数据库包括至少一个FE节点，如图2所示，获取目标数据库的审计日志数据的状态具体包括步骤S1011-S1012。
S1011，向FE节点的配置文件中添加开启审计日志配置，以便于获得FE节点的审计日志文件。
S1012，检测审计日志文件的状态，审计日志文件的状态为目标数据库的审计日志数据的状态。
举例来说，在本申请实施例中，目标数据库中包括多个FE节点，在各个FE节点的配置文件中添加开启审计日志文件的相关配置，同时检查审计日志文件中的日志信息是否存在问题，确保审计功能无异常。
在一种可能的实施方式中，若审计日志文件中的日志信息存在问题时，更改开启审计日志文件的相关配置，直到得到的审计日志文件中的日志信息处于正常状态。
S102，当审计日志数据处于正常状态时，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件。
在本申请实施例中，异常语句的类型包括慢查询语句以及不规范语句，不规范语句是指审计日志数据中不符合预先设定的语句类型的标准规范的语句。
在一种可能的实施方式中，ELK架构采用预设数量的linux服务器构建。
本申请实施例中，采用3台linux服务器部署ELK架构（ElastSearch组件、Kibana组件以及Logstash组件）。
在一种可能的实施方式中，如图3所示，S102包括S1021-S1023。
S1021，采用Logstash组件对审计日志数据进行解析处理，得到已解析审计日志数据。
在一种可能的实施方式中，S1021包括S1021a-S1021b。
S1021a，通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中。
S1021b，使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据，预设正则表达式根据审计日志的格式设定。
S1022，采用ElastSearch组件对已解析审计日志数据进行解析验证，以便于验证解析处理的结果是否达到预设要求。
举例来说，本申请实施例中，通过Logstash组件获取FE节点的审计日志，根据日志格式撰写预设正则表达式对日志进行分割和解析，把解析后的日志分字段写入到ElastSearch组件，以验证写入索引正常，同时，字段解析达到预设要求。
在一种可能的实施方式中，如图4所示，在步骤S1022包括S1022a-S1022b。
S1022a，将已解析审计日志数据写入ElastSearch组件，获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比。
S1022b，当占比大于或等于预设占比时，确定解析处理的结果达到预期要求。
当占比小于预设占比时，确定解析处理的结果未达到预期要求，此时需要重新撰写预设正则表达式对日志进行分割和解析。
在本申请实施例中，正则表达式用来描述或者匹配一系列符合某个句法规则的的单个字符串。
示例性的，本申请实施例提供解析前的审计日志数据以及解析后的已解析审计日志数据如下：
其中，解析前的审计日志数据如下：[query] |Client=127.0.0.1:48752|User=root|Db=default_cluster:test_dev|State=EOF|Time=3|ScanBytes=0|ScanRows=0|ReturnRows=1|StmtId=113207|QueryId=935af68b-a4a3-11ed-afe7-005056a1b49e|IsQuery=true|feIp=127.0.0.1|Stmt=/* mysql-connector-java-8.0.20 (Revision: afc0a13cd3c5a0bf57eaa809ee0ee6df1fd5ac9b) */SELECT @@session.auto_increment_increment AS auto_increment_increment, @@character_set_client AS character_set_client, @@character_set_connection AS character_set_connection, @@character_set_results AS character_set_results, @@character_set_server AScharacter_set_server, @@collation_server AS collation_server, @@collation_connection AS collation_connection, @@init_connect AS init_connect, @@interactive_timeout AS interactive_timeout, @@language AS language, @@licenseAS license, @@lower_case_table_names AS lower_case_table_names, @@max_allowed_packet AS max_allowed_packet, @@net_write_timeout AS net_write_timeout, @@performance_schema AS performance_schema, @@query_cache_size ASquery_cache_size, @@query_cache_type AS query_cache_type, @@sql_mode AS sql_mode, @@system_time_zone AS system_time_zone, @@time_zone AS time_zone, @@tx_isolation AS transaction_isolation, @@wait_timeout AS wait_timeout|Digest=
其中，上述解析前的审计日志数据中，字符@@后跟随的代码名称为审计日志数据的各项参数名称。示例性的如“time_zone ”代表时区参数、“system_time”代表系统时间等，本申请实施例在此不做过多赘述。
解析后的已解析审计日志数据如下：
"querytype": "query",（查询类型）
"ScanRows":"9"，（扫描行数量）
"State":"EOF", （数据状态）
"Time":"4",（解析次数）
"querytime": "2023-02-06 17:03:53,660"，（查询时间）
"StmtId":"353328",(语句 和 表达式ID)
"@version":"1",(版本)"QueryId":"2e117c5e-a5fd-11ed-afa0-005056a16056",（查询ID）"User":"default_cluster "****", "Db": "default_cluster:*****，"Stmt":"Stmt=select label, company_number as companyNumber fromads_qxb_ rise_label_companynumber,"Client": “*****”,"ScanBytes":"538".
对于解析后的已解析审计日志数据，将已解析审计日志数据写入ElastSearch组件，ElastSearch组件对成功写入的数据量占已解析审计日志数据的占比进行判断，并根据判断结果确定解析处理的结果达到预期要求。
S1023，当解析处理的结果达到预设要求时，采用Kibana组件获取审计日志数据中的异常语句。解析后的已解析审计日志数据中包括间查询时间、扫描
在本申请实施例中，采用Kibana组件获取审计日志数据中的DDL以及DML语句中的慢查询语句或者不规范语句。
S103，向用户展示异常语句。
在本申请实施例中，数据处理服务器可以每天定时分析并获得异常语句发到用户设备上，通知对应业务方及时优化调整，保证StarRocks数据库的稳定性和数据的安全性。
在一种可能的实施方式中，审计日志数据的语句类型包括DDL以及DML。
本申请通过采用上述方法实施例，能够达到以下有益效果：
完善了StarRocks数据库的审计功能，及时找到数据库中的异常语句，以便于用户后续进行追踪、修改，提高了StarRocks集群的稳定性和数据的安全性；通过获取FE节点的审计日志文件，根据FE节点的审计日志文件确定审计日志数据的状态；在预先构建的ELK架构中对审计日志数据进行处理，同时在采用Kibana组件获取审计日志数据中的异常语句之前，采用ElastSearch组件对已解析审计日志数据进行解析验证，提高了获取异常语句的准确度；通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据；确定成功写入ElastSearch组件的数据量占已解析审计日志数据的占比达到预设占比时，再采用Kibana组件获取审计日志数据中的异常语句，提高了获取异常语句时的准确率。
图5为本申请实施例提供的一种MPP数据库的审计装置的结构示意图，如图5所示，数据处理服务器包括获取单元11、处理单元12以及展示单元13。
获取单元11，用于获取目标数据库的审计日志数据的状态。
处理单元12，用于当审计日志数据处于正常状态时，采用预先构建的ELK架构对审计日志数据进行处理，以得到审计日志数据中的异常语句，ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件。
展示单元13，用于向用户展示异常语句。
在一种可能的实施方式中，目标数据库包括至少一个FE节点，获取单元11包括配置添加子单元以及状态检测子单元；配置添加子单元，向FE节点的配置文件中添加开启审计日志配置，以便于获得FE节点的审计日志文件；状态检测子单元，检测审计日志文件的状态，审计日志文件的状态为目标数据库的审计日志数据的状态。
在一种可能的实施方式中，处理单元12具体包括解析子单元、验证子单元以及处理子单元；解析子单元，用于采用Logstash组件对审计日志数据进行解析处理，得到已解析审计日志数据；验证子单元，用于采用ElastSearch组件对已解析审计日志数据进行解析验证，以便于验证解析处理的结果是否达到预设要求；处理子单元，用于当解析处理的结果达到预设要求时，采用Kibana组件获取审计日志数据中的异常语句。
在一种可能的实施方式中，解析子单元包括日志添加模块以及日志解析模块；日志添加模块，用于通过Logstash组件获取审计日志文件的审计日志，并将审计日志添加进审计日志数据中；日志解析模块，用于使用预设正则表达式对审计日志数据进行解析处理，得到已解析审计日志数据，预设正则表达式根据审计日志的格式设定。
在一种可能的实施方式中，获取单元还包括结果判断子单元；解析判断子单元，用于将已解析审计日志数据写入ElastSearch组件，获取成功写入ElastSearch组件的数据量占已解析审计日志数据的占比；当占比大于或等于预设占比时，确定解析处理的结果达到预期要求。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参见图6，为本申请实施例提供了一种电子设备的结构示意图。如图6所示，所述电子设备600可以包括：至少一个处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。
其中，通信总线602用于实现这些组件之间的连接通信。
其中，用户接口603可以包括显示屏（Display）、摄像头（Camera），可选用户接口603还可以包括标准的有线接口、无线接口。
其中，网络接口604可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行服务器的各种功能和处理数据。可选的，处理器601可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器601可集成中央处理器（CentralProcessing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。
其中，存储器605可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器605包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及关于MPP数据库的审计的应用程序。
在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而处理器601可以用于调用存储器605中存储有MPP数据库的审计的应用程序，当由一个或多个处理器执行时，使得电子设备600执行如上述实施例中一个或多个所述的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。

Claims (10)

1.一种MPP数据库的审计方法，其特征在于，应用于数据处理服务器，所述方法包括：
获取所述目标数据库的审计日志数据的状态；
当所述审计日志数据处于正常状态时，采用预先构建的ELK架构对所述审计日志数据进行处理，以得到所述审计日志数据中的异常语句，所述ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件；
向用户展示所述异常语句。
2.根据权利要求1所述的方法，其特征在于，所述目标数据库包括至少一个FE节点，所述获取所述目标数据库的审计日志数据的状态具体包括：
向所述FE节点的配置文件中添加开启审计日志配置，以便于获得所述FE节点的审计日志文件；
检测所述审计日志文件的状态，所述审计日志文件的状态为所述目标数据库的审计日志数据的状态。
3.根据权利要求1所述的方法，其特征在于，所述ELK架构采用预设数量的linux服务器构建。
4.根据权利要求2所述的方法，其特征在于，所述采用预先构建的ELK架构对所述审计日志数据进行处理，以得到所述审计日志数据中的异常语句，具体包括：
采用所述Logstash组件对所述审计日志数据进行解析处理，得到已解析审计日志数据；
采用所述ElastSearch组件对所述已解析审计日志数据进行解析验证，以便于验证所述解析处理的结果是否达到预设要求；
当所述解析处理的结果达到所述预设要求时，采用所述Kibana组件获取所述审计日志数据中的异常语句。
5.根据权利4所述的方法，其特征在于，所述采用所述Logstash组件对所述审计日志数据进行解析处理，得到已解析审计日志数据，具体包括：
通过所述Logstash组件获取所述审计日志文件的审计日志，并将所述审计日志添加进所述审计日志数据中；
使用预设正则表达式对所述审计日志数据进行解析处理，得到所述已解析审计日志数据，所述预设正则表达式根据所述审计日志的格式设定。
6.根据权利要求4所述的方法，其特征在于，所述当所述解析处理的结果达到所述预期要求时，采用所述Kibana组件获取所述审计日志数据中的异常语句之前，所述方法还包括：
将所述已解析审计日志数据写入所述ElastSearch组件，获取成功写入所述ElastSearch组件的数据量占所述已解析审计日志数据的占比；
当所述占比大于或等于预设占比时，确定所述解析处理的结果达到所述预期要求。
7.根据权利要求1所述的方法，其特征在于，所述审计日志数据的语句类型包括DDL以及DML。
8.一种MPP数据库的审计装置，其特征在于，所述装置为数据处理服务器，所述数据处理服务器包括获取单元（11）、处理单元（12）以及展示单元（13）；
所述获取单元（11），用于获取所述目标数据库的审计日志数据的状态；
所述处理单元（12），用于当所述审计日志数据处于正常状态时，采用预先构建的ELK架构对所述审计日志数据进行处理，以得到所述审计日志数据中的异常语句，所述ELK架构包括ElastSearch组件、Kibana组件以及Logstash组件；
所述展示单元（13），用于向用户展示所述异常语句。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行权利要求1-7任意一项所述的方法。
10.一种电子设备，其特征在于，包括处理器（601）、存储器（605）、用户接口（603）及网络接口（604），所述存储器（605）用于存储指令，所述用户接口（603）和所述网络接口（604）用于给其他设备通信，所述处理器（601）用于执行所述存储器（605）中存储的指令，以使所述电子设备（600）执行如权利要求1-7任意一项所述的方法。
CN202310207159.XA 2023-02-24 2023-02-24 一种mpp数据库的审计方法及装置 Withdrawn CN116186777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310207159.XA CN116186777A (zh) 2023-02-24 2023-02-24 一种mpp数据库的审计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310207159.XA CN116186777A (zh) 2023-02-24 2023-02-24 一种mpp数据库的审计方法及装置

Publications (1)

Publication Number Publication Date
CN116186777A true CN116186777A (zh) 2023-05-30

Family

ID=86440287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310207159.XA Withdrawn CN116186777A (zh) 2023-02-24 2023-02-24 一种mpp数据库的审计方法及装置

Country Status (1)

Country Link
CN (1) CN116186777A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662059A (zh) * 2023-07-24 2023-08-29 上海爱可生信息技术股份有限公司 MySQL数据库CPU故障诊断及自愈方法及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116662059A (zh) * 2023-07-24 2023-08-29 上海爱可生信息技术股份有限公司 MySQL数据库CPU故障诊断及自愈方法及可读存储介质
CN116662059B (zh) * 2023-07-24 2023-10-24 上海爱可生信息技术股份有限公司 MySQL数据库CPU故障诊断及自愈方法及可读存储介质

Similar Documents

Publication Publication Date Title
US9633106B1 (en) Log data analysis
US8589343B2 (en) Systems and methods for digital file change monitoring
CN109634818A (zh) 日志分析方法、系统、终端及计算机可读存储介质
US10248674B2 (en) Method and apparatus for data quality management and control
CN109587125B (zh) 一种网络安全大数据分析方法、系统及相关装置
EP2244418A1 (en) Database security monitoring method, device and system
CN109359026A (zh) 日志上报方法、装置、电子设备及计算机可读存储介质
US11362912B2 (en) Support ticket platform for improving network infrastructures
CN112040429B (zh) 一种基于分布式存储的短信管理系统及方法
CN112351024B (zh) 一种公网通信安全监测系统及方法
US10262133B1 (en) System and method for contextually analyzing potential cyber security threats
CN112306700A (zh) 一种异常rpc请求的诊断方法和装置
US20160012074A1 (en) System and method for providing contextual analytics data
US20200125309A1 (en) Creation of component templates
WO2019104891A1 (zh) 报表导入导出的方法、装置、存储介质及终端
CN116186777A (zh) 一种mpp数据库的审计方法及装置
CN112667501A (zh) 基于自动化挡板的链路测试方法、装置及相关设备
CN115033639A (zh) 一种生成集群间数据共享的关系图的方法和相关装置
CN113010494A (zh) 一种数据库审计方法、装置及数据库代理服务器
CN111767574A (zh) 用户权限确定方法、装置、电子设备及可读存储介质
US11366712B1 (en) Adaptive log analysis
KR20110070767A (ko) 네트워크 기반 원격 포렌식 시스템
US20230010906A1 (en) System event analysis and data management
CN111581213B (zh) 信息记录方法、装置、以及设备
KR20220162898A (ko) 오픈소스 소프트웨어의 라이선스에 대한 온라인 컨설팅 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230530