CN109947792A - 一种基于数据库引擎的智能sql检索关键词技术 - Google Patents

Abstract

本发明公开了一种基于数据库引擎的智能SQL检索关键词技术，该发明采用分析数据库引擎构建最优SQL语句的方案，从而实现快速SQL关键词检索的目的。

Description

一种基于数据库引擎的智能SQL检索关键词技术

技术领域

本发明涉及一种互联网通信技术领域，特别涉及一种基于数据库引擎的智能SQL检索关键词技术。

背景技术

对于数据库的数据核查,面向的是多种数据库类型,如SQLServer、MySQL、Oracle等等，数据库结构设计都属于未知，现有技术能实现简单的数据库结构分析以及实现简单的SQL脚本构建，但是在检索速度上性能差、经常会造成检索超时问题。因此，提出一种基于数据库引擎的智能SQL检索关键词技术。

发明内容

为克服现有技术的不足，本发明包含以下模块：

1、数据库连接驱动模块，采用现有市面上流行的主流数据库连接驱动，实现程序与数据库连接成功的首个保障。

2、数据库、表结构、字段结构分析模块，采用各数据库自带结构分析语句，分析出服务器安装的数据库、表结构、字段结构、并具体分析到字段类型、主键、外键、唯一键、索引等级别。

3、数据库引擎分析模块，通过分析目标数据库目前正在启用的数据库引擎，因不同引擎对索引策略定义会有不同，会实际影响检索SQL语句的索引是否生效，严重影响检索的性能。

4、最优SQL语句构建模块，根据“数据库、表结构、字段结构分析模块”以及“数据库引擎分析模块”，分析出文本类型的字段，各个数据库不一致，例如SQLServer数据库，属于文本字段的包括：varchar\nvarchar\char\nchar\text等,文本字段是属于需要进行关键词分析的字段；此外,分析出主键及索引字段,并结合采用的数据库引擎分析结果,对检索的字段的排序进行匹配排序,确保检索索引生效,提高检索性能。

5、单表多线程快速匹配结果模块，考虑到在实际的业务中，表数据多数会集中在某一张或某几张表上，因此对于采用多线程但是单表单线程的方式，对性能的提高将非常有限，因此在“数据库、表结构、字段结构分析模块”分析结果上，实现对表数据量数进行获取，从而实现对单表分页多线程的实现，提高检索性能。

6、全文检索分析模块，因为智能SQL检索出来的结果数据库关键词初步命中结果，但是想要实现“与或非”或者“多层级与或非嵌套”的复杂规则时，则需要采用“全文检索技术”，对初步结果进行分词处理，并将复杂规则转换成全文检索搜索语法，实现结果的快速命中；并且采用“全文检索技术”实现了二次检索功能。

7、关键词命中结果，实现结果输出，实现命中关键词统计及结果展示。

本发明本发明技术方案带来的有益效果：

本发明通过主动分析数据库结果，构建最优SQL，提供数据库关键词检索的性能。便于检查数据库中数据源是否存在敏感涉密信息，及时发现，排除隐患；性能的提高，有利于检查机关进行现场快速检查的可行性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的流程示意图；

图2为数据库分析图示；

图3为表结构分析图示；

图4为字段结构分析图示；

图5为最优SQL语句构建模块图示；

图6为单表多线程快速匹配图示；

图7为关键词命中结果图示；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施方案：

1、数据库连接驱动模块，采用现有市面上流行的主流数据库连接驱动，实现程序与数据库连接成功的首个保障。

2、数据库、表结构、字段结构分析模块，采用各数据库自带结构分析语句，分析出服务器安装的数据库、表结构、字段结构、并具体分析到字段类型、主键、外键、唯一键、索引等级别。

3、数据库引擎分析模块，通过分析目标数据库目前正在启用的数据库引擎，因不同引擎对索引策略定义会有不同，会实际影响检索SQL语句的索引是否生效，严重影响检索的性能。

4、最优SQL语句构建模块，根据“数据库、表结构、字段结构分析模块”以及“数据库引擎分析模块”，分析出文本类型的字段，各个数据库不一致，例如SQLServer数据库，属于文本字段的包括：varchar\nvarchar\char\nchar\text等,文本字段是属于需要进行关键词分析的字段；此外,分析出主键及索引字段,并结合采用的数据库引擎分析结果,对检索的字段的排序进行匹配排序,确保检索索引生效,提高检索性能。

5、单表多线程快速匹配结果模块，考虑到在实际的业务中，表数据多数会集中在某一张或某几张表上，因此对于采用多线程但是单表单线程的方式，对性能的提高将非常有限，因此在“数据库、表结构、字段结构分析模块”分析结果上，实现对表数据量数进行获取，从而实现对单表分页多线程的实现，提高检索性能。

6、全文检索分析模块，因为智能SQL检索出来的结果数据库关键词初步命中结果，但是想要实现“与或非”或者“多层级与或非嵌套”的复杂规则时，则需要采用“全文检索技术”，对初步结果进行分词处理，并将复杂规则转换成全文检索搜索语法，实现结果的快速命中；并且采用“全文检索技术”实现了二次检索功能。

7、关键词命中结果，实现结果输出，实现命中关键词统计及结果展示。

以上对本发明实施例所提供的一种基于数据库引擎的智能SQL检索关键词技术进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于数据库引擎的智能SQL检索关键词技术，该发明采用分析数据库引擎构建最优SQL语句的方案，通过数据库连接驱动模块，数据库、表结构、字段结构分析模块，数据库引擎分析模块，最优SQL语句构建模块，单表多线程快速匹配结果模块，全文检索分析模块，关键词命中结果从而实现快速SQL关键词检索的目的。

2.根据权利要求1所述的一种基于数据库引擎的智能SQL检索关键词技术，其特征在于：数据库、表结构、字段结构分析模块，采用各数据库自带结构分析语句，分析出服务器安装的数据库、表结构、字段结构，并具体分析到字段类型、主键、外键、唯一键、索引等级别。

3.根据权利要求1所述的一种基于数据库引擎的智能SQL检索关键词技术，其特征在于：数据库引擎分析模块，通过分析目标数据库目前正在启用的数据库引擎，因不同引擎对索引策略定义会有不同，会实际影响检索SQL语句的索引是否生效，严重影响检索的性能。

4.根据权利要求1所述的一种基于数据库引擎的智能SQL检索关键词技术，其特征在于：最优SQL语句构建模块，根据“数据库、表结构、字段结构分析模块”以及“数据库引擎分析模块”分析出文本类型的字段；同时分析出主键及索引字段,并结合采用的数据库引擎分析结果,对检索的字段的排序进行匹配排序,确保检索索引生效。

5.根据权利要求1所述的一种基于数据库引擎的智能SQL检索关键词技术，其特征在于：单表多线程快速匹配结果模块，在“数据库、表结构、字段结构分析模块”分析结果上，实现对表数据量数进行获取，从而实现对单表分页多线程的实现。

6.根据权利要求1所述的一种基于数据库引擎的智能SQL检索关键词技术，其特征在于：全文检索分析模块，采用“全文检索技术”，对初步结果进行分词处理，并将复杂规则转换成全文检索搜索语法，同时实现二次检索。