CN116401245A - 一种数据索引构建方法及系统 - Google Patents

一种数据索引构建方法及系统 Download PDF

Info

Publication number
CN116401245A
CN116401245A CN202310204811.2A CN202310204811A CN116401245A CN 116401245 A CN116401245 A CN 116401245A CN 202310204811 A CN202310204811 A CN 202310204811A CN 116401245 A CN116401245 A CN 116401245A
Authority
CN
China
Prior art keywords
index
target
data table
data
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310204811.2A
Other languages
English (en)
Inventor
刘鹏
徐英辉
邓春宇
王大中
赵伟森
张保亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202310204811.2A priority Critical patent/CN116401245A/zh
Publication of CN116401245A publication Critical patent/CN116401245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Abstract

本发明实施例提供一种数据索引构建方法及系统，方法包括：确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。本发明基于目标数据表中待索引的目标字段对应的特征词，可以自动生成目标字段对应的目标搜索索引，实现了搜索索引的自动构建，无需人工参与，提高了索引的构建效率。并且，本发明监听目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引，在需要修改索引字段时，无需人工修改索引信息，提高了索引构建的灵活性。

Description

一种数据索引构建方法及系统
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据索引构建方法。
背景技术
随着大数据时代的到来，使得计算机产生和处理的数据量急剧增加，为了方便云环境下的数据存储和检索，必须为数据建立索引。索引技术是数据统一访问的基础，索引构建的优劣将直接影响到数据的统一访问。
目前，数据表的索引构建通常是技术人员基于数据属性以及索引规则手动构建出字段对应的搜索索引。可见，这种人工手动构建搜索索引的方式费时费力，大大降低了搜索索引的生成效率，不同人员构建的搜索索引质量参差不齐，并且在修改索引字段时，需要技术人员手动修改搜素索引，降低了搜索索引的灵活性。
发明内容
本发明实施例提供一种数据索引构建方法，以解决现有技术的上述问题。
第一方面，本发明实施例提供一种数据索引构建方法，包括：
获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
作为优选的，在确定目标数据表中待索引的目标字段对应的特征词之后，数据索引构建方法还包括:
对所述特征词进行相关词拓展，获得关联特征词；
根据目标字段的特征词和关联特征词构建所述目标字段的索引。
作为优选的，所述根据目标字段的特征词和关联特征词构建所述目标字段的索引，包括：
创建索引文件，将目标字段的特征词和关联特征词写入所述索引文件；
将所述索引文件与所述目标字段相关联。
作为优选的，所述确定目标数据表中待索引的目标字段对应的特征词，包括：
获取目标字段对应的目标元数据，所述目标元数据包括目标字段的描述信息；
根据目标字段的描述信息确定目标字段的特征词。
作为优选的，数据索引构建方法还包括：
确定目标数据表中待索引的各字段各自对应的特征词，根据各字段各自对应的特征词构建目标数据表中各字段的索引，完成目标数据表的索引构建。
第二方面，本发明实施例提供一种数据索引构建系统，包括：
获取模块，用于获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
索引构建模块，用于确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
索引修改模块，用于释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
作为优选的，所述索引构建模块包括：
拓展子模块，用于对所述特征词进行相关词拓展，获得关联特征词；
索引构建子模块，用于根据目标字段的特征词和关联特征词构建所述目标字段的索引。
第三方面，本发明实施例提供了一种电子设备，包括：
处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述一种数据索引构建方法。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述一种数据索引构建方法。
本发明实施例提供的一种数据索引构建方法，获取待构建索引的目标数据表，基于目标数据表中待索引的目标字段对应的特征词，可以自动生成目标字段对应的目标搜索索引，实现了搜索索引的自动构建，无需人工参与，提高了索引的构建效率。并且，本发明监听目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引，在需要修改索引字段时，无需人工修改索引信息，提高了索引构建的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据索引构建方法流程图；
图2为本发明实施例提供的另一数据索引构建方法流程图；
图3为本发明实施例提供的一种数据索引构建系统的结构框图；
图4是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，数据表的索引构建通常是技术人员基于数据属性以及索引规则手动构建出字段对应的搜索索引。可见，这种人工手动构建搜索索引的方式费时费力，大大降低了搜索索引的生成效率，不同人员构建的搜索索引质量参差不齐，并且在修改索引字段时，需要技术人员手动修改搜素索引，降低了搜索索引的灵活性
针对现有技术的上述问题，本发明实施例提供一种数据索引构建方法，图1为根据本发明实施例提供的数据索引构建方法流程图，参照图1，该方法包括：
步骤101，获取待构建索引的目标数据表，对所述目标数据表加上共享锁。
其中，在关系数据库中、索引是一种单独的、物理的对数据表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑索引清单。索引提供指向存储在数据表的指定列中的数据值的指针，然后根据用户指定的排序顺序对这些指针排序。数据库使用索引以找到特定值，然后根据指针找到包含该值的行。这样可以使对应于表的查询语句(如SQL语句)执行得更快，可快速访问数据表中的特定信息。
加锁是实现数据库并发控制的一个重要技术。当事务在对某个数据库对象进行操作前，需要先对其加锁。加锁后该事务就对该数据库对象有了一定的控制，在该事务释放锁之前，其他的事务不能对此数据库对象进行相应操作。本实施例中，对目标数据表加上共享锁(S锁)，当有事务对数据加读锁后，其他事务只能对锁定的数据加读锁，不能加写锁(排他锁)，所以其他事务只能读，不能写。
步骤102，确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
其中，目标字段可以是指需要索引的字段，也就是数据搜索时所依据的字段。在目标数据表中目标字段的数量可以为一个或多个，其具体数量可以基于数据搜索范围进行确定。
本实施例中，首先，获取目标字段对应的目标元数据，所述目标元数据包括目标字段的描述信息；根据目标字段的描述信息确定目标字段的特征词。其中，元数据(Metadata)是描述数据的数据(dataaboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。然后，创建索引文件，将目标字段的特征词写入索引文件，将所述索引文件与所述目标字段相关联，完成目标字段的索引构建。
进一步的，要进行目标数据表的索引构建，首先确定目标数据表中待索引的各字段各自对应的特征词，然后根据各字段各自对应的特征词构建目标数据表中各字段的索引，完成目标数据表的索引构建。
步骤103，释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
本实施例中，释放目标数据表的共享锁，使得其他事务可以对所述目标数据表进行修改，通过监听所述目标数据表的数据变更，当目标数据表的数据变更时，自动保存变更数据，将目标数据表已存在的索引删除，然后根据所述变更数据再对目标数据表新建一个索引。
本发明实施例提供的一种数据索引构建方法，获取待构建索引的目标数据表，基于目标数据表中待索引的目标字段对应的特征词，可以自动生成目标字段对应的目标搜索索引，实现了搜索索引的自动构建，无需人工参与，提高了索引的构建效率。并且，本发明监听目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引，在需要修改索引字段时，无需人工修改索引信息，提高了索引构建的灵活性。
图2为本发明实施例提供的另一数据索引构建方法流程图，参照图2，本实施例提供的一种数据索引构建方法，包括:
步骤201，获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
步骤202，确定目标数据表中待索引的目标字段对应的特征词，对所述特征词进行相关词拓展，获得关联特征词；
步骤203，根据目标字段的特征词和关联特征词构建所述目标字段的索引；
步骤204，释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
可以理解的是，在对数据库中的数据进行检索时，由于用户的技术领域和知识水平的不同，对于同一目标的检索条件也都不相同。在此情况下，对用户输入的检索条件的要求较高，用户由于知识水平的限制难以确定准确的检索词，也就难以检索到准确、全面的索引结果。
针对这一问题，本实施例对待索引的目标字段的特征词进行相关词拓展，获得关联特征词，根据目标字段的特征词和关联特征词构建所述目标字段的索引。使获得的目标字段的检索特征词更加全面，有效提高了索引构建的准确度。
图3为本发明实施例提供的一种数据索引构建系统的结构框图，如图3所示，该系统包括：获取模块301、索引构建模块302和索引修改模块303，其中：
获取模块301，用于获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
索引构建模块302，用于确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
索引修改模块303，用于释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
具体的如何通过获取模块301、索引构建模块302和索引修改模块303以执行图1所示的一种数据索引构建方法，其具体步骤已在图1所示的实施例中描述，此处不再赘述。
作为优选的，所述索引构建模块302包括：拓展子模块，用于对所述特征词进行相关词拓展，获得关联特征词；索引构建子模块，用于根据目标字段的特征词和关联特征词构建所述目标字段的索引。
图4是本发明实施例提供的一种电子设备的结构框图，参照图4，所述电子设备，包括：处理器(processor)401、通信接口(CommunicationsInterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：获取待构建索引的目标数据表，对所述目标数据表加上共享锁；确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待构建索引的目标数据表，对所述目标数据表加上共享锁；确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待构建索引的目标数据表，对所述目标数据表加上共享锁；确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种数据索引构建方法，其特征在于，包括：
获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
2.根据权利要求1所述的数据索引构建方法，其特征在于，在确定目标数据表中待索引的目标字段对应的特征词之后，还包括:
对所述特征词进行相关词拓展，获得关联特征词；
根据目标字段的特征词和关联特征词构建所述目标字段的索引。
3.根据权利要求2所述的数据索引构建方法，其特征在于，所述根据目标字段的特征词和关联特征词构建所述目标字段的索引，包括：
创建索引文件，将目标字段的特征词和关联特征词写入所述索引文件；
将所述索引文件与所述目标字段相关联。
4.根据权利要求1所述的数据索引构建方法，其特征在于，所述确定目标数据表中待索引的目标字段对应的特征词，包括：。
获取目标字段对应的目标元数据，所述目标元数据包括目标字段的描述信息；
根据目标字段的描述信息确定目标字段的特征词。
5.根据权利要求1所述的数据索引构建方法，其特征在于，还包括：
确定目标数据表中待索引的各字段各自对应的特征词，根据各字段各自对应的特征词构建目标数据表中各字段的索引，完成目标数据表的索引构建。
6.一种数据索引构建系统，其特征在于，包括：
获取模块，用于获取待构建索引的目标数据表，对所述目标数据表加上共享锁；
索引构建模块，用于确定目标数据表中待索引的目标字段对应的特征词，根据所述特征词构建所述目标字段的索引；
索引修改模块，用于释放所述目标数据表的共享锁，监听所述目标数据表的数据变更，保存变更数据，根据所述变更数据新建目标数据表的索引。
7.根据权利要求1所述的数据索引构建系统，其特征在于，所述索引构建模块包括：
拓展子模块，用于对所述特征词进行相关词拓展，获得关联特征词；
索引构建子模块，用于根据目标字段的特征词和关联特征词构建所述目标字段的索引。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述数据索引构建方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据索引构建方法的步骤。
CN202310204811.2A 2023-03-06 2023-03-06 一种数据索引构建方法及系统 Pending CN116401245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310204811.2A CN116401245A (zh) 2023-03-06 2023-03-06 一种数据索引构建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310204811.2A CN116401245A (zh) 2023-03-06 2023-03-06 一种数据索引构建方法及系统

Publications (1)

Publication Number Publication Date
CN116401245A true CN116401245A (zh) 2023-07-07

Family

ID=87013204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310204811.2A Pending CN116401245A (zh) 2023-03-06 2023-03-06 一种数据索引构建方法及系统

Country Status (1)

Country Link
CN (1) CN116401245A (zh)

Similar Documents

Publication Publication Date Title
US20200327107A1 (en) Data Processing Method, Apparatus, and System
Parker et al. Comparing nosql mongodb to an sql db
US9043310B2 (en) Accessing a dimensional data model when processing a query
US20240078229A1 (en) Generating, accessing, and displaying lineage metadata
US8090700B2 (en) Method for updating databases
US10157211B2 (en) Method and system for scoring data in a database
Khan et al. SQL Database with physical database tuning technique and NoSQL graph database comparisons
US11775541B2 (en) System and method for subset searching and associated search operators
US20100235344A1 (en) Mechanism for utilizing partitioning pruning techniques for xml indexes
US9734176B2 (en) Index merge ordering
US9390111B2 (en) Database insert with deferred materialization
US20150019528A1 (en) Prioritization of data from in-memory databases
CN105760418B (zh) 用于对关系数据库表进行交叉列搜索的方法和系统
CN111125229A (zh) 数据血缘生成方法、装置、电子设备
WO2015168988A1 (zh) 一种数据索引创建方法、装置及计算机存储介质
US20190340272A1 (en) Systems and related methods for updating attributes of nodes and links in a hierarchical data structure
CN113918605A (zh) 数据查询方法、装置、设备以及计算机存储介质
CN109063215B (zh) 数据检索方法及装置
CN116401245A (zh) 一种数据索引构建方法及系统
US9959295B1 (en) S-expression based computation of lineage and change impact analysis
CN115809268B (zh) 一种基于分片索引的自适应查询方法和装置
US9158818B2 (en) Facilitating identification of star schemas in database environments
CN115587100A (zh) 关系型数据库的管理方法及装置
CN117909301A (zh) 基于索引的对象查询方法、装置、设备及介质
US20060106855A1 (en) Reusable row indices table

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication