CN113138974A - 数据库合规检测的方法和装置 - Google Patents
数据库合规检测的方法和装置 Download PDFInfo
- Publication number
- CN113138974A CN113138974A CN202110442951.4A CN202110442951A CN113138974A CN 113138974 A CN113138974 A CN 113138974A CN 202110442951 A CN202110442951 A CN 202110442951A CN 113138974 A CN113138974 A CN 113138974A
- Authority
- CN
- China
- Prior art keywords
- script
- compliance
- class
- script file
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了数据库合规检测的方法和装置,涉及大数据技术领域。该方法的一具体实施方式包括:扫描目标数据库的所有脚本文件;对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。该实施方式能够自动解析多种脚本文件,得到合规检测结果,提升数据库脚本的审核效率和精确度,确保生产环境系统稳定运行。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据库合规检测的方法和装置。
背景技术
随着运营数据中心版本投产次数增多以及业务部门需求的快速变更,需要应对大量的数据库操作脚本的审核。数据库脚本操作需要考虑到安全、合规、性能等多种因素,人工审核的效率低,且往往无法精准识别数据库脚本中的风险和违规操作。
发明内容
有鉴于此,本发明实施例提供一种数据库合规检测的方法和装置,能够自动解析多种脚本文件,得到合规检测结果,提升数据库脚本的审核效率和精确度,确保生产环境系统稳定运行。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据库合规检测的方法,包括:
扫描目标数据库的所有脚本文件;
对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
可选地,每个所述脚本文件包括一条或多条用于创建数据库对象的SQL语句。
可选地,对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中表结构类的脚本文件,得到表结构类的脚本文件集;筛选所述所有脚本文件中索引类的脚本文件得到索引类的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述表结构类的脚本文件集,当所述表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断所述索引类的脚本文件集中是否存在创建所述目标数据表的索引的SQL语句;若存在,则进一步判断所述目标数据表的索引是否符合预设规范。
可选地,对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中清理类的脚本文件,得到清理类的脚本文件集;筛选所述所有脚本文件中备份类的脚本文件得到备份类的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述清理类的脚本文件集,当所述清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断所述备份类的脚本文件集中是否存在备份所述目标数据表的索引的SQL语句。
可选地,所述方法还包括:在得到合规检测结果之后,可视化展示所述合规检测结果。
可选地,所述合规检测结果包括以下异常结果项中的至少之一:
未创建索引的数据表数量,索引不符合预设规范的数据表数量,已删除、未备份的数据表数量。
可选地,所述方法还包括:响应于用户针对目标异常结果项的查询请求,可视化展示所述目标异常结果项对应的所有异常信息记录。
可选地,每条所述异常信息记录包括以下至少之一:脚本文件标识、异常行数、异常分类。
可选地,所述方法还包括:在得到合规检测结果之后,获取并展示每个所述异常结果项或者每条所述异常信息记录对应的整改方案。
可选地,
所述异常信息记录包括:未创建索引的数据表;所述整改方案包括:建议创建索引;
所述异常信息记录包括:索引不符合预设规范的数据表;所述整改方案包括:建议修改索引;
所述异常信息记录包括:已删除、未备份的数据表;所述整改方案包括:建议备份数据表。
可选地,所述异常信息记录包括:一次性向数据表中插入的数据量超过设定数据插入量阈值、或者一次性向数据表中插入的数据量与数据表中已有数据量之间的比值超过设定的比例阈值;所述整改方案包括:向用户发出提示信息以确认是否需要收集统计数据。
根据本发明实施例的第二方面,提供一种数据库合规检测的装置,包括:
脚本获取模块,扫描目标数据库的所有脚本文件;
脚本分类模块,对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;
合规比对模块,对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
可选地,每个所述脚本文件包括一条或多条用于创建数据库对象的SQL语句。
可选地,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中表结构类的脚本文件,得到表结构类的脚本文件集;筛选所述所有脚本文件中索引类的脚本文件得到索引类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述表结构类的脚本文件集,当所述表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断所述索引类的脚本文件集中是否存在创建所述目标数据表的索引的SQL语句;若存在,则进一步判断所述目标数据表的索引是否符合预设规范。
可选地,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中清理类的脚本文件,得到清理类的脚本文件集;筛选所述所有脚本文件中备份类的脚本文件得到备份类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述清理类的脚本文件集,当所述清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断所述备份类的脚本文件集中是否存在备份所述目标数据表的索引的SQL语句。
可选地,本发明实施例的装置还包括结果展示模块,用于在所述合规比对模块得到合规检测结果之后,可视化展示所述合规检测结果。
可选地,所述合规检测结果包括以下异常结果项中的至少之一:
未创建索引的数据表数量,索引不符合预设规范的数据表数量,已删除、未备份的数据表数量。
可选地,所述结果展示模块还用于:响应于用户针对目标异常结果项的查询请求,可视化展示所述目标异常结果项对应的所有异常信息记录。
可选地,每条所述异常信息记录包括以下至少之一:脚本文件标识、异常行数、异常分类。
可选地,所述结果展示模块还用于:在所述合规比对模块得到合规检测结果之后,获取并展示每个所述异常结果项或者每条所述异常信息记录对应的整改方案。
根据本发明实施例的第三方面,提供一种数据库合规检测的电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
根据本发明实施例的第四方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
上述发明中的一个实施例具有如下优点或有益效果:通过扫描目标数据库的所有脚本文件、对所有脚本文件进行分类、对不同脚本类别的脚本文件集进行合规比对,能够采用通用脚本自动解析多种脚本文件,得到合规检测结果,提升数据库脚本的审核效率和精确度,确保生产环境系统稳定运行。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明实施例的数据库合规检测的方法的主要流程示意图;
图2是本发明一些实施例中数据库合规检测的主要流程示意图;
图3是本发明另一些实施例中数据库合规检测的主要流程示意图;
图4是本发明实施例的数据库合规检测的装置的主要模块示意图;
图5是本发明实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
根据本发明实施例的一个方面,提供了一种数据库合规检测的方法。
图1是本发明实施例的数据库合规检测的方法的主要流程示意图,如图1所示,数据库合规检测的方法,包括:步骤S101、步骤S102和步骤S103。
步骤S101、扫描目标数据库的所有脚本文件。数据库脚本是用于创建数据库对象的语句的集合。实际应用过程中,可以逐个遍历数据库的各个文件夹,以获取数据库脚本文件。每个脚本文件中可以包括一条或多条用于创建数据库对象的语句,如SQL(StructuredQuery La nguage,结构化查询语言)语句。
图2是本发明一些实施例中数据库合规检测的主要流程示意图。在图2示出的可选实施例中,扫描到数据库文件之后,对数据库文件进行数据清洗。清洗方式可以选择性设定。示例性的,扫描各个系统对应的数据库脚本文件,循环读取所有数据库脚本文件,对脚本文件中的语句进行清洗,包括去除多余行、忽略注释、去除特殊字符、完整语句拼接等。
步骤S102、对所有脚本文件进行分类,得到多个脚本类别的脚本文件集。通过对脚本文件进行分类,能够提高后续合规比对的效率。
脚本类别的划分方式可以根据实际需要进行选择性设定,例如按照脚本的功能,划分为表结构类(如创建、删除、备份某表的SQL语句)、清理类(如需要删除某文件的SQL语句)、索引类(如创建、删除某表的索引的SQL语句)、视图类(如获取某图片的SQL语句)、备份类(如需要备份某文件的SQL语句)等。实际应用过程中,也可以采用其他方式划分脚本类别,例如根据脚本文件的创建时间划分脚本类别、根据脚本文件的使用环境划分脚本类别等。
本步骤可以将得到的各个脚本类别的脚本文件集存储至设定的物理位置,以便于后续处理。存储之前,还可以按照正则表达式进行匹配核对,以便于后续合规比对。脚本文件存储的格式可以选择性设定,例如存在数据库中。由于用于合规检测的各个脚本类别的脚本文件通常不需要长久存储,因此也可以设置存储的数据类型为字典类型。字典类型是一种键值对形式的存储,键是文件名,值是SQL语句。采用字典类型,在数据量不大的情况下比较快捷,用完即可销毁。
步骤S103、对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。合规比对的目的是为了了解哪些数据库脚本是符合安全合规性要求的正常脚本,哪些数据库脚本时不符合安全合规性要求的异常脚本。合规性要求的具体内容可以选择性设定,本发明实施例不作具体约定。
在一些可选的实施例中,对所有脚本文件进行分类包括:筛选所有脚本文件中表结构类的脚本文件得到表结构类的脚本文件集,筛选所有脚本文件中索引类的脚本文件得到索引类的脚本文件集。对不同脚本类别的脚本文件集进行合规比对包括:遍历表结构类的脚本文件集,当表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断索引类的脚本文件集中是否存在创建目标数据表的索引的SQL语句;若存在,则进一步判断目标数据表的索引是否符合预设规范。例如:假设表结构类的脚本文件集中存在创建表A的SQL语句,则比对索引类的脚本文件集中有没有创建表A的索引的SQL语句,若没有,则判定创建表A的SQL语句存在异常。若索引类的脚本文件集中有创建表A的索引的SQL语句,则进一步判断创建的表A的索引是否符合规范(该规范可根据实际情况选择性配置)。若不符合规范,则判定创建表A的SQL语句存在异常。本实施能够快速对表结构类和索引类的脚本文件进行合规性比对。
通常情况下,在删除数据表时,为了不影响应用系统对该数据表的查询操作,会在删除之前对数据表进行备份。因此,在另一些可选的实施例中,对所有脚本文件进行分类包括:筛选所有脚本文件中清理类的脚本文件得到清理类的脚本文件集;筛选所有脚本文件中备份类的脚本文件得到备份类的脚本文件集。对不同脚本类别的脚本文件集进行合规比对包括:遍历清理类的脚本文件集,当清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断备份类的脚本文件集中是否存在备份目标数据表的索引的SQL语句。本实施例能够快速对清理类和备份类的脚本文件进行合规性比对。
实际应用过程中,在得到合规检测结果之后,还可以可视化展示合规检测结果,以便于用户查看。合规检测结果可以包括符合安全合规性要求的正常结果项、以及不符合安全合规性要求的异常结果项,也可以仅包括二者之一。正常结果项和异常结果项可以分开存储。可选地,合规检测结果包括以下异常结果项中的至少之一:未创建索引的数据表数量,索引不符合预设规范的数据表数量,已删除、未备份的数据表数量。本实施例能够展示异常结果项的总览信息,便于用户快速从整体上了解数据库脚本的异常程度。
可选地,本发明实施例的方法还包括:响应于用户针对目标异常结果项的查询请求,可视化展示目标异常结果项对应的所有异常信息记录;每条异常信息记录包括以下至少之一:脚本文件标识(例如文件名)、异常行数(异常SQL语句的行数)、异常分类(例如语法错误、与其他SQL语句不一致(例如存在创建表B的SQL语句、不存在创建表B的索引的SQL语句)等)。用户如果需要详细异常信息,可以点击每个异常结果项即可展示各条异常信息记录的详细信息。
本发明实施例的方法还可以包括:在得到合规检测结果之后,获取并展示每个异常结果项或者每条异常信息记录对应的整改方案。再例如,对于未创建索引的数据表,建议创建索引;对于索引不符合预设规范的数据表,建议修改索引;对于已删除、未备份的数据表,建议备份数据表等。例如,当一次性向数据表中插入的数据量超过设定数据插入量阈值、或者一次性向数据表中插入的数据量与数据表中已有数据量之间的比值超过设定的比例阈值,则向用户确认是否需要统计数据的收集。
图3是本发明一些实施例中数据库合规检测的主要流程示意图。
如图3所示,数据库合规检测的流程包括:
步骤S301、遍历数据库文件夹;
步骤S302、判断数据库文件夹是否为空;若是,则跳转至步骤S301;否则跳转至步骤S303;
步骤S303、判断数据库文件夹中的文件是否是脚本文件;若是,则跳转至步骤S304;否则跳转至步骤S301;
步骤S304、清洗每个数据库脚本文件里面的每一条SQL语句;
步骤S305、对清洗后的语句分类存储为字典类型;
步骤S306、比对不同脚本类别的SQL语句的安全合规性,得到检测结果;
步骤S307、保存检测结果,包括正常和异常结果;
步骤S308、前端展示异常结果和详细信息。
本实施例通过自动扫描分析、智能比对,极大降低了人工审核的不确定性,保证审核的效率和精确度;通过可视化展示异常结果信息,能快速提示风险提示项,检查结果和过程有据可查。
根据本发明实施例的第二方面,提供一种实现上述方法的装置。
图4是本发明实施例的数据库合规检测的装置的主要模块示意图。如图4所示,数据库合规检测的装置400包括:
脚本获取模块401,扫描目标数据库的所有脚本文件;
脚本分类模块402,对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;
合规比对模块403,对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
可选地,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中表结构类的脚本文件,得到表结构类的脚本文件集;筛选所述所有脚本文件中索引类的脚本文件得到索引类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述表结构类的脚本文件集,当所述表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断所述索引类的脚本文件集中是否存在创建所述目标数据表的索引的SQL语句;若存在,则进一步判断所述目标数据表的索引是否符合预设规范。
可选地,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中清理类的脚本文件,得到清理类的脚本文件集;筛选所述所有脚本文件中备份类的脚本文件得到备份类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述清理类的脚本文件集,当所述清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断所述备份类的脚本文件集中是否存在备份所述目标数据表的索引的SQL语句。
可选地,本发明实施例的装置还包括结果展示模块,用于在所述合规比对模块得到合规检测结果之后,可视化展示所述合规检测结果。
可选地,所述合规检测结果包括以下异常结果项中的至少之一:
未创建索引的数据表数量,索引不符合预设规范的数据表数量,已删除、未备份的数据表数量。
可选地,所述结果展示模块还用于:响应于用户针对目标异常结果项的查询请求,可视化展示所述目标异常结果项对应的所有异常信息记录;每条所述异常信息记录包括以下至少之一:脚本文件标识、异常行数、异常分类。
可选地,所述结果展示模块还用于:在所述合规比对模块得到合规检测结果之后,获取并展示每个所述异常结果项或者每条所述异常信息记录对应的整改方案。
根据本发明实施例的第三方面,提供一种数据库合规检测的电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
根据本发明实施例的第四方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
图5示出了可以应用本发明实施例的数据库合规检测的方法或数据库合规检测的装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的数据库合规检测的方法一般由服务器505执行,相应地,数据库合规检测的装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CP U)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括:脚本获取模块、脚本分类模块和合规比对模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,脚本分类模块还可以被描述为“扫描目标数据库的所有脚本文件的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:扫描目标数据库的所有脚本文件;对所有脚本文件进行分类,得到多个脚本类别的脚本文件集;对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
根据本发明实施例的技术方案,通过扫描目标数据库的所有脚本文件、对所有脚本文件进行分类、对不同脚本类别的脚本文件集进行合规比对,能够采用通用脚本自动解析多种脚本文件,得到合规检测结果,提升数据库脚本的审核效率和精确度,确保生产环境系统稳定运行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (18)
1.一种数据库合规检测的方法,其特征在于,包括:
扫描目标数据库的所有脚本文件;
对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
2.如权利要求1所述的方法,其特征在于,每个所述脚本文件包括一条或多条用于创建数据库对象的SQL语句。
3.如权利要求2所述的方法,其特征在于,对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中表结构类的脚本文件,得到表结构类的脚本文件集;筛选所述所有脚本文件中索引类的脚本文件得到索引类的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述表结构类的脚本文件集,当所述表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断所述索引类的脚本文件集中是否存在创建所述目标数据表的索引的SQL语句;若存在,则进一步判断所述目标数据表的索引是否符合预设规范。
4.如权利要求2所述的方法,其特征在于,对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中清理类的脚本文件,得到清理类的脚本文件集;筛选所述所有脚本文件中备份类的脚本文件得到备份类的脚本文件集;
对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述清理类的脚本文件集,当所述清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断所述备份类的脚本文件集中是否存在备份所述目标数据表的索引的SQL语句。
5.如权利要求1-4任一所述的方法,其特征在于,所述方法还包括:在得到合规检测结果之后,可视化展示所述合规检测结果。
6.如权利要求5所述的方法,其特征在于,所述合规检测结果包括以下异常结果项中的至少之一:
未创建索引的数据表数量,索引不符合预设规范的数据表数量,已删除、未备份的数据表数量。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:响应于用户针对目标异常结果项的查询请求,可视化展示所述目标异常结果项对应的所有异常信息记录。
8.如权利要求7所述的方法,其特征在于,每条所述异常信息记录包括以下至少之一:脚本文件标识、异常行数、异常分类。
9.如权利要求6所述的方法,其特征在于,所述方法还包括:在得到合规检测结果之后,获取并展示每个所述异常结果项或者每条所述异常信息记录对应的整改方案。
10.如权利要求9所述的方法,其特征在于,
所述异常信息记录包括:未创建索引的数据表;所述整改方案包括:建议创建索引;
所述异常信息记录包括:索引不符合预设规范的数据表;所述整改方案包括:建议修改索引;
所述异常信息记录包括:已删除、未备份的数据表;所述整改方案包括:建议备份数据表。
11.如权利要求9所述的方法,其特征在于,所述异常信息记录包括:一次性向数据表中插入的数据量超过设定数据插入量阈值、或者一次性向数据表中插入的数据量与数据表中已有数据量之间的比值超过设定的比例阈值;所述整改方案包括:向用户发出提示信息以确认是否需要收集统计数据。
12.一种数据库合规检测的装置,其特征在于,包括:
脚本获取模块,扫描目标数据库的所有脚本文件;
脚本分类模块,对所述所有脚本文件进行分类,得到多个脚本类别的脚本文件集;
合规比对模块,对不同脚本类别的脚本文件集进行合规比对,得到合规检测结果。
13.如权利要求12所述的装置,其特征在于,每个所述脚本文件包括一条或多条用于创建数据库对象的SQL语句。
14.如权利要求13所述的装置,其特征在于,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中表结构类的脚本文件,得到表结构类的脚本文件集;筛选所述所有脚本文件中索引类的脚本文件得到索引类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述表结构类的脚本文件集,当所述表结构类的脚本文件集中存在用于创建目标数据表的SQL语句时,判断所述索引类的脚本文件集中是否存在创建所述目标数据表的索引的SQL语句;若存在,则进一步判断所述目标数据表的索引是否符合预设规范。
15.如权利要求13所述的装置,其特征在于,所述脚本分类模块对所述所有脚本文件进行分类,包括:筛选所述所有脚本文件中清理类的脚本文件,得到清理类的脚本文件集;筛选所述所有脚本文件中备份类的脚本文件得到备份类的脚本文件集;
所述合规比对模块对不同脚本类别的脚本文件集进行合规比对,包括:遍历所述清理类的脚本文件集,当所述清理类的脚本文件集中存在用于删除目标数据表的SQL语句时,判断所述备份类的脚本文件集中是否存在备份所述目标数据表的索引的SQL语句。
16.如权利要求12-15任一所述的装置,其特征在于,还包括结果展示模块,用于在所述合规比对模块得到合规检测结果之后,可视化展示所述合规检测结果。
17.一种数据库合规检测的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110442951.4A CN113138974B (zh) | 2021-04-23 | 2021-04-23 | 数据库合规检测的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110442951.4A CN113138974B (zh) | 2021-04-23 | 2021-04-23 | 数据库合规检测的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113138974A true CN113138974A (zh) | 2021-07-20 |
CN113138974B CN113138974B (zh) | 2023-08-22 |
Family
ID=76812338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110442951.4A Active CN113138974B (zh) | 2021-04-23 | 2021-04-23 | 数据库合规检测的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113138974B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235051A (zh) * | 2023-11-09 | 2023-12-15 | 宁波银行股份有限公司 | 一种数据库的管理方法、装置、电子设备和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391995A (zh) * | 2014-12-15 | 2015-03-04 | 北京趣拿软件科技有限公司 | 一种sql语句审核的方法、数据库运维的方法及系统 |
CN106407830A (zh) * | 2015-07-29 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 一种基于云的数据库的检测方法和装置 |
CN107229681A (zh) * | 2017-05-09 | 2017-10-03 | 北京潘达互娱科技有限公司 | 一种数据库操作方法及装置 |
CN107797916A (zh) * | 2016-11-14 | 2018-03-13 | 平安科技(深圳)有限公司 | Ddl语句审核方法和装置 |
CN107844425A (zh) * | 2017-11-16 | 2018-03-27 | 中国银行股份有限公司 | 一种数据库语句检查方法和装置 |
WO2018233037A1 (zh) * | 2017-06-20 | 2018-12-27 | 平安科技(深圳)有限公司 | 数据库集成测试方法、装置、服务器及存储介质 |
CN109284282A (zh) * | 2018-10-22 | 2019-01-29 | 北京极数云舟科技有限公司 | 一种基于MySQL数据库运维方法和系统 |
CN109308285A (zh) * | 2018-10-11 | 2019-02-05 | 平安科技(深圳)有限公司 | 数据库脚本管理方法、装置、计算机设备及存储介质 |
CN109325046A (zh) * | 2018-10-25 | 2019-02-12 | 深圳壹账通智能科技有限公司 | 数据库脚本生成方法、装置、介质及电子设备 |
CN109710518A (zh) * | 2018-12-13 | 2019-05-03 | 中国联合网络通信集团有限公司 | 脚本审核方法及装置 |
CN109871368A (zh) * | 2018-12-15 | 2019-06-11 | 中国平安人寿保险股份有限公司 | 数据库检测方法、装置、计算机装置及存储介质 |
CN111159016A (zh) * | 2019-12-16 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种规范检测方法及装置 |
CN111708756A (zh) * | 2020-05-27 | 2020-09-25 | 中国平安财产保险股份有限公司 | 数据仓库自动化处理的方法、装置、设备及存储介质 |
CN112380180A (zh) * | 2020-11-17 | 2021-02-19 | 平安普惠企业管理有限公司 | 数据同步处理方法、装置、设备及存储介质 |
-
2021
- 2021-04-23 CN CN202110442951.4A patent/CN113138974B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391995A (zh) * | 2014-12-15 | 2015-03-04 | 北京趣拿软件科技有限公司 | 一种sql语句审核的方法、数据库运维的方法及系统 |
CN106407830A (zh) * | 2015-07-29 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 一种基于云的数据库的检测方法和装置 |
CN107797916A (zh) * | 2016-11-14 | 2018-03-13 | 平安科技(深圳)有限公司 | Ddl语句审核方法和装置 |
CN107229681A (zh) * | 2017-05-09 | 2017-10-03 | 北京潘达互娱科技有限公司 | 一种数据库操作方法及装置 |
WO2018233037A1 (zh) * | 2017-06-20 | 2018-12-27 | 平安科技(深圳)有限公司 | 数据库集成测试方法、装置、服务器及存储介质 |
CN107844425A (zh) * | 2017-11-16 | 2018-03-27 | 中国银行股份有限公司 | 一种数据库语句检查方法和装置 |
CN109308285A (zh) * | 2018-10-11 | 2019-02-05 | 平安科技(深圳)有限公司 | 数据库脚本管理方法、装置、计算机设备及存储介质 |
CN109284282A (zh) * | 2018-10-22 | 2019-01-29 | 北京极数云舟科技有限公司 | 一种基于MySQL数据库运维方法和系统 |
CN109325046A (zh) * | 2018-10-25 | 2019-02-12 | 深圳壹账通智能科技有限公司 | 数据库脚本生成方法、装置、介质及电子设备 |
CN109710518A (zh) * | 2018-12-13 | 2019-05-03 | 中国联合网络通信集团有限公司 | 脚本审核方法及装置 |
CN109871368A (zh) * | 2018-12-15 | 2019-06-11 | 中国平安人寿保险股份有限公司 | 数据库检测方法、装置、计算机装置及存储介质 |
CN111159016A (zh) * | 2019-12-16 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种规范检测方法及装置 |
CN111708756A (zh) * | 2020-05-27 | 2020-09-25 | 中国平安财产保险股份有限公司 | 数据仓库自动化处理的方法、装置、设备及存储介质 |
CN112380180A (zh) * | 2020-11-17 | 2021-02-19 | 平安普惠企业管理有限公司 | 数据同步处理方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
潘亚军等: "一种基于SQL的数据库初始化通用方法", 《计算机工程与应用》 * |
潘亚军等: "一种基于SQL的数据库初始化通用方法", 《计算机工程与应用》, no. 08, 1 August 2005 (2005-08-01) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235051A (zh) * | 2023-11-09 | 2023-12-15 | 宁波银行股份有限公司 | 一种数据库的管理方法、装置、电子设备和存储介质 |
CN117235051B (zh) * | 2023-11-09 | 2024-02-02 | 宁波银行股份有限公司 | 一种数据库的管理方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113138974B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
EP3251031B1 (en) | Techniques for compact data storage of network traffic and efficient search thereof | |
CN107203574B (zh) | 数据管理和数据分析的聚合 | |
US20160162507A1 (en) | Automated data duplicate identification | |
CN113326247B (zh) | 云端数据的迁移方法、装置及电子设备 | |
CN108694108B (zh) | 一种iOS崩溃数据分类与统计的方法和装置 | |
CN110688096A (zh) | 包含插件的应用程序的构建方法、装置、介质及电子设备 | |
US20160132809A1 (en) | Identifying and amalgamating conditional actions in business processes | |
US9390073B2 (en) | Electronic file comparator | |
CN109460363B (zh) | 自动化测试方法、装置、电子设备及计算机可读介质 | |
CN110347573B (zh) | 应用程序分析方法、装置、电子设备及计算机可读介质 | |
CN111190905A (zh) | 数据库表格处理方法、装置及电子设备 | |
CN113138974B (zh) | 数据库合规检测的方法和装置 | |
CN111831536A (zh) | 一种自动化测试方法和装置 | |
CN113448869A (zh) | 测试用例生成的方法、装置、电子设备及计算机可读介质 | |
CN111126034B (zh) | 医学变量关系的处理方法及装置、计算机介质和电子设备 | |
CN109146096B (zh) | 报修事件的处理方法、装置、存储介质及电子设备 | |
CN107679096B (zh) | 数据集市间指标共享的方法和装置 | |
CN112612817B (zh) | 数据处理方法、装置、终端设备及计算机可读存储介质 | |
CN110688355A (zh) | 变更容器状态的方法和装置 | |
US10242009B2 (en) | Automatic analysis of repository structure to facilitate natural language queries | |
CN113032515A (zh) | 基于多数据源生成图表的方法、系统、设备及存储介质 | |
CN111045983A (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
CN112256566A (zh) | 一种测试案例的保鲜方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |