CN106776702B - 一种处理主从式数据库系统中的索引的方法和装置 - Google Patents
一种处理主从式数据库系统中的索引的方法和装置 Download PDFInfo
- Publication number
- CN106776702B CN106776702B CN201611001970.9A CN201611001970A CN106776702B CN 106776702 B CN106776702 B CN 106776702B CN 201611001970 A CN201611001970 A CN 201611001970A CN 106776702 B CN106776702 B CN 106776702B
- Authority
- CN
- China
- Prior art keywords
- index
- database
- master
- indexes
- analysis statistical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000012217 deletion Methods 0.000 claims description 11
- 230000037430 deletion Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种处理主从式数据库系统中的索引的方法和装置。该方法包括:对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中;从第一分析统计表中查找出在各数据库中均符合预设条件的索引并保存到待处理列表中;从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引。上述技术方案可以在不影响数据库系统正常查询的情况下删除冗余索引,释放浪费的磁盘空间,保证数据库查询的速度。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种处理主从式数据库系统中的索引的方法和装置。
背景技术
为了实现数据库系统的稳定性,主从架构(Master/Slave)的数据库系统被广泛应用。主从式数据库包含有一个主数据库和一个或者多个从数据库,实现了数据库读写功能的分离。一般来说,主数据库负责写入数据的操作,从数据库负责对主数据库的数据进行备份以及负责数据查询等操作。当数据库的数据表中有大量记录时,若要对数据库中的数据进行查询,一种方法是可以进行全数据库表的遍历搜索,将所有数据一一取出,和查询条件进行一一对比,然后返回满足条件的数据,但是这样做会消耗大量数据库系统时间,查询速度慢;另一种方法是在数据库中建立索引,然后在索引中找到符合查询条件的索引值,最后通过保存的索引快速找到数据库中对应的数据,这种方法可以实现数据的快速查找。但是在数据库中建立索引会占用磁盘空间,而且大量的索引中不免会出现一些冗余的索引,造成磁盘空间的浪费,冗余索引的存在还会影响查询优化器对索引的选择,导致数据查询速度慢。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的处理主从式数据库系统中的索引的方法和相应的装置。
依据本发明的一个方面,提供了一种处理主从式数据库系统中的索引的方法,包括:
对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中;
从所述第一分析统计表中查找出在各数据库中均符合预设条件的索引并保存到待处理列表中;
从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引。
可选地,所述获取该数据库中的符合预设条件的索引包括:
获取该数据库中被访问次数不超过预设阈值的索引。
可选地,所述获取该数据库中被访问次数不超过预设阈值的索引包括:
通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;所述第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
可选地,所述获取该数据库中的符合预设条件的索引包括:
获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。
可选地,所述获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引包括:从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引;
其中,对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间。
可选地,从所述第一分析统计表中查找出在各数据库中均符合预设条件的索引包括:
从所述第一分析统计表中查找在第一分析统计表中出现的次数等于所述主从式数据库系统中的数据库个数的索引。
可选地,该方法进一步包括:
对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;
在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
可选地,所述获取该数据库中的主键索引包括:
通过查询该数据库的第二原生表,获取该数据库中的主键索引;
所述第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
可选地,所述将获取到的符合预设条件的索引保存到第一分析统计表中包括:
每获取到一个符合预设条件的索引,向所述第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
可选地,该方法进一步包括:
将所述第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到所述第一分析统计表中。
可选地,在从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引之前,该方法进一步包括:
将所述待处理列表发送给相应的业务端;
当接收到相应业务端的删除指示后,再执行所述从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引的步骤。
根据本发明的另一方面,提供了一种处理主从式数据库系统中的索引的装置,包括:
获取单元,适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中;
查找单元,适于从所述第一分析统计表中查找出在各数据库中均符合预设条件的索引并保存到待处理列表中;
存储单元,适于存储所述第一分析统计表和待处理列表;
索引处理单元,适于从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引。
可选地,所述获取单元,适于获取该数据库中被访问次数不超过预设阈值的索引。
可选地,所述获取单元,适于通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;所述第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
可选地,所述获取单元,适于获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。
可选地,该装置进一步包括:记录单元,适于对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间;
所述存储单元,进一步适于存储第二分析统计表;
所述获取单元,适于从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引。
可选地,所述查找单元,适于从所述第一分析统计表中查找在第一分析统计表中出现的次数等于所述主从式数据库系统中的数据库个数的索引。
可选地,所述获取单元,进一步适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
可选地,所述获取单元,适于通过查询该数据库的第二原生表,获取该数据库中的主键索引;所述第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
可选地,所述获取单元,适于每获取到一个符合预设条件的索引,向所述第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
可选地,所述获取单元,进一步适于将所述第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到所述第一分析统计表中。
可选地,所述索引处理单元,进一步适于在从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引之前,将所述待处理列表发送给相应的业务端;当接收到相应业务端的删除指示后,再执行所述从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引的步骤。
根据本发明技术方案,遍历主从数据库系统中的每个数据库,将每个数据库中符合预设条件的索引分别查找出来并保存在一个新建的分析统计表中,这样就可以不影响数据库查询的正常操作;然后再从分析统计表中查找出在各个数据库中的均符合预设条件的索引保存到待处理列表中,对应删除数据库系统中所有的存在于待处理列表中的索引,减少磁盘空间的浪费。综上所述,本发明可以在不影响数据库系统正常查询的情况下,删除冗余索引,释放浪费的磁盘空间,保证数据库查询的速度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种处理主从式数据库系统中的索引的方法的流程示意图;
图2示出了根据本发明一个实施例的一种处理主从式数据库系统中的索引的装置的结构示意图;
图3示出了根据本发明另一个实施例的一种处理主从式数据库系统中的索引的装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种处理主从式数据库系统中的索引的方法的流程示意图。如图1所示,该方法包括:
步骤S110,对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中。
主从数据库中一般包括一个主数据库和一个或多个从数据库,每个数据库中都设定索引以便对数据的快速查询,但是,有些索引可能只在其中一台从数据库上被使用,那么在进行冗余索引的获取的时候就需要遍历每个数据库。预先设定一个预设条件,该预设条件可以判断哪些索引是冗余索引。例如预设被访问次数小于3的索引为符合预设条件的索引,或者预设被访问次数等于0的索引为符合预设条件的索引。获取每个数据库中的符合预设条件的索引后,将获取到的符合预设条件的索引保存到第一分析统计表中,这里的第一分析统计表是新建的,不属于数据库,这样就可以不影响数据库的正常查询。
步骤S120,从第一分析统计表中查找出在各数据库中均符合预设条件的索引并保存到待处理列表中。
本步骤是进一步确定第一分析统计表中的索引是否为冗余索引。因为数据库系统在进行查询的指令的时候是从其中的一个数据库库中进行查询,而并不是在所有的数据库中进行查询,那么就会出现的情况是,一个数据库中的索引符合预设条件,另一个数据库中相同的索引不符合预设条件,那么这说明该索引在另一个数据库还是被频繁使用,不能视为冗余索引。所以在获取到符合预设条件的索引后,需要进一步地确定该索引在数据库系统中的每个数据库中都是符合预设条件的,即对于每个数据库都是冗余索引。将在各数据库中均符合预设条件的索引查找到后保存在待处理的列表中。例如,对于一个端口为3001的数据库系统中有一个主数据库和三个从数据库。对于其中一个从数据库DB1中的数据表Table1有一个符合预设条件的索引indexname1,被保存在第一分析统计表中,还要查看这个indexname1在3001的数据库系统中的主数据库中以及另外两个从数据库中相同的indexname1是否也存在第一分析统计表中,都存在的情况下,才会将indexname1保存在待处理列表中。
步骤S130,从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引,进而达到释放磁盘空间,保证查询速度的目的。
可见,图1所示的方法可以在不影响数据库系统正常查询的情况下,删除冗余索引,释放浪费的磁盘空间,保证数据库查询的速度。
通过上述的预设条件判断索引是否为冗余索引,这里的预设条件可以是索引被访问的次数,以及被访问的频率、被访问的时间等信息。在本发明的一个实施例中,步骤S110中的获取该数据库中的符合预设条件的索引包括:获取该数据库中被访问次数不超过预设阈值的索引。如果被访问次数没有超过预设阈值,说明该条索引不经常被使用,对于相应的数据库是冗余的;如果被访问次数超过预设阈值,说明该条索引是查询时所需要的,不应该当作冗余索引处理。例如预设阈值设定为1,那么只有访问次数为0的索引才会被保存在第一分析统计表中;如果预设阈值设定为5,那么被访问次数为0、1、2、3、4的索引都会被保存在第一分析统计表中。
其中,获取该数据库中被访问次数不超过预设阈值的索引包括:通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
每个数据库中都有一些固有的表,这里称为原生表,数据库中的索引的访问次数就会被存储在原生表中,那么我们在查找符合预设条件的索引的时候就可以通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引。例如查询数据库中的原生表“performance_schema.Table_io_waits_summary_by_index_usage”,就可以获取到每条索引自从数据库启动以来的访问次数。
在本发明的另一个实施例中,步骤S110中的获取该数据库中的符合预设条件的索引包括:获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。有的索引在设定之初可能被访问,但是一段时间后,该条索引不再被需要,或者已经通过其它更准确的索引取代,那么这样的不再被需要的索引也是冗余的,所以该预设条件可以设定为最后一次被访问的时间距离当前时间是否超出预设时间长度。例如预设时间长度为1个月,那么在最近的一个月期间内没有被访问的索引可被认为是冗余索引。
其中,获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引包括:从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引;其中,对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间。
因为数据库的原生表中不会记录每条数据最后一次被访问的时间,那么在数据库启动时,需建立第二分析统计表记录每条索引的访问时间,一旦一条索引被访问,第二分析统计表中相应的索引的最后一次使用时间就进行更新。
在图1所示方法的步骤S120中需要查找出在各数据库中均符合预设条件的索引,如果遍历第一统计分析表中的每条索引,会影响分析效率。所以,在本发明的一个实施例中,步骤S120中从第一分析统计表中查找出在各数据库中均符合预设条件的索引包括:从第一分析统计表中查找在第一分析统计表中出现的次数等于主从式数据库系统中的数据库个数的索引。例如,数据库系统中有一个主数据库和三个从数据库,即有4个数据库,在查找各数据库中均符合预设条件的索引时,可以直接判断该条索引在第一分析统计表中出现的次数是不是为4次,如果为是,说明该条索引对于各数据库都是符合预设条件的,即为冗余索引;如果为否,说明该条索引是被某个(或多个)数据库需要的,不属于冗余索引。
数据库的表中通常有一列或列组合用来唯一标识表中的每一行,称为表的主键,为表设定一个主键将自动创建主键索引。主键索引要求主键中的每个值是唯一的,当在查询中使用主键索引时,可允许快速访问数据,所以作为表中的每一行的唯一标识,主键索引是不能被删除的。为了防止查找到的第一分析统计表中存在主键索引,在本发明的一个实施例中,图1所示的方法进一步包括:对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
其中,获取该数据库中的主键索引包括:通过查询该数据库的第二原生表,获取该数据库中的主键索引;第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
数据库中索引的类型被保存在数据库的原生表中,例如表“information_schema.TABLE_CONSTRAINTS”,从该表中可以获得该数据库中的主键索引,并将该数据库中的符合预设条件的索引中的主键索引排除。
第一分析统计表中保存每条符合预设条件的索引时,不仅仅要保存索引本身的信息,为了区分索引的地址,以便后续操作的进行。在本发明的一个实施例中,步骤S110中的将获取到的符合预设条件的索引保存到第一分析统计表中包括:每获取到一个符合预设条件的索引,向第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
为了节省第一分析统计表中的存储空间和减少数据量,上述方法进一步包括:将第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到第一分析统计表中。例如,对于3001端口的数据库系统中的数据库DB1中的数据表table1中符合预设条件的索引可以合并成一条索引记录“3001DB1table1:index1,index2,index3.....”,将多条索引存储合并成一条索引存储,这样就可以减少数据量,节省存储空间。
当各数据库中均符合预设条件的索引保存到待处理列表后,不应该立刻进行删除的操作,因为数据库中的数据以及数据查询是针对相应的业务需求,在对索引进行删除操作之前需要得到业务端的许可。在本发明的一个实施例中,从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引之前,图1所示的方法进一步包括:将待处理列表发送给相应的业务端,以获得业务端的删除确定;当接收到相应业务端的删除指示后,再执行从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引的步骤。
上述方法中将多条索引存储合并成一条索引存储可便于业务端的查看。业务端可根据业务需求对其中的某些索引进行删除,也可以进行全部删除。
然而,本领域技术人员应可了解,上述经过业务端确认后方可删除冗余索引的方式并非本发明的限制。由于所述索引使用频率低,对业务的影响也有限,因此当各数据库中均符合预设条件的索引保存到待处理列表后,也可以不经过业务端同意而直接进行删除的操作。
图2示出了根据本发明一个实施例的一种处理主从式数据库系统中的索引的装置的结构示意图。如图2所示,该处理主从式数据库系统中的索引的装置200包括:
获取单元210,适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中。
主从数据库中一般包括一个主数据库和一个或多个从数据库,每个数据库中都设定索引以便对数据的快速查询,但是,有些索引可能只在其中一台从数据库上被使用,那么在进行冗余索引的获取的时候就需要遍历每个数据库。预先设定一个预设条件,该预设条件可以判断哪些索引是冗余索引。例如预设被访问次数小于3的索引为符合预设条件的索引,或者预设被访问次数等于0的索引为符合预设条件的索引。获取每个数据库中的符合预设条件的索引后,将获取到的符合预设条件的索引保存到第一分析统计表中,这里的第一分析统计表是新建的,不属于数据库,这样就可以不影响数据库的正常查询。
查找单元220,适于从第一分析统计表中查找出在各数据库中均符合预设条件的索引并保存到待处理列表中。
查找单元220是进一步确定第一分析统计表中的索引是否为冗余索引。因为数据库系统在进行查询的指令的时候是从其中的一个数据库库中进行查询,而并不是在所有的数据库中进行查询,那么就会出现的情况是,一个数据库中的索引符合预设条件,另一个数据库中相同的索引不符合预设条件,那么这说明该索引在另一个数据库还是被频繁使用,不能视为冗余索引。所以在获取到符合预设条件的索引后,需要进一步地确定该索引在数据库系统中的每个数据库中都是符合预设条件的,即对于每个数据库都是冗余索引。将在各数据库中均符合预设条件的索引查找到后保存在待处理的列表中。例如,对于一个端口为3001的数据库系统中有一个主数据库和三个从数据库。对于其中一个从数据库DB1中的数据表Table1有一个符合预设条件的索引indexname1,被保存在第一分析统计表中,还要查看这个indexname1在3001的数据库系统中的主数据库中以及另外两个从数据库中相同的indexname1是否也存在第一分析统计表中,都存在的情况下,才会将indexname1保存在待处理列表中。
存储单元230,适于存储第一分析统计表和待处理列表。
索引处理单元240,适于从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引,进而达到释放磁盘空间,保证查询速度的目的。
可见,利用本发明的装置中的各个单元的配合处理,本发明可以在不影响数据库系统正常查询的情况下,删除冗余索引,释放浪费的磁盘空间,保证数据库查询的速度。
通过上述的预设条件判断索引是否为冗余索引,这里的预设条件可以是索引被访问的次数,以及被访问的频率、被访问的时间等信息。在本发明的一个实施例中,获取单元210,适于获取该数据库中被访问次数不超过预设阈值的索引。如果被访问次数没有超过预设阈值,说明该条索引不经常被使用,对于相应的数据库是冗余的;如果被访问次数超过预设阈值,说明该条索引是查询时所需要的,不应该当作冗余索引处理。例如预设阈值设定为1,那么只有访问次数为0的索引才会被保存在第一分析统计表中;如果预设阈值设定为5,那么被访问次数为0、1、2、3、4的索引都会被保存在第一分析统计表中。
具体地,获取单元210,适于通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
每个数据库中都有一些固有的表,这里称为原生表,数据库中的索引的访问次数就会被存储在原生表中,那么我们在查找符合预设条件的索引的时候就可以通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引。例如查询数据库中的原生表“performance_schema.Table_io_waits_summary_by_index_usage”,就可以获取到每条索引自从数据库启动以来的访问次数。
在本发明的另一个实施例中,获取单元210,适于获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。有的索引在设定之初可能被访问,但是一段时间后,该条索引不再被需要,或者已经通过其它更准确的索引取代,那么这样的不再被需要的索引也是冗余的,所以该预设条件可以设定为最后一次被访问的时间距离当前时间是否超出预设时间长度。例如预设时间长度为1个月,那么在最近的一个月期间内没有被访问的索引可被认为是冗余索引。
图3示出了根据本发明另一个实施例的一种处理主从式数据库系统中的索引的装置的结构示意图。如图3所示,该处理主从式数据库系统中的索引的装置300包括:获取单元310、查找单元320、存储单元330、索引处理单元340和纪录单元350。其中,获取单元310、查找单元320、存储单元330、索引处理单元340与图2所示装置的获取单元210、查找单元220、存储单元230、索引处理单元240具有对应相同的功能,相同的部分在此不再赘述。
记录单元350,适于对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间。存储单元330,进一步适于存储第二分析统计表。获取单元310,适于从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引。
因为数据库的原生表中不会记录每条数据最后一次被访问的时间,那么在数据库启动时,需建立第二分析统计表记录每条索引的访问时间,一旦一条索引被访问,第二分析统计表中相应的索引的最后一次使用时间就进行更新。
为进一步确定第一分析统计表中的索引是否为冗余索引,需要查找出在各数据库中均符合预设条件的索引,如果遍历第一统计分析表中的每条索引,会影响分析效率。所以,在本发明的一个实施例中,查找单元320,适于从第一分析统计表中查找在第一分析统计表中出现的次数等于主从式数据库系统中的数据库个数的索引。例如,数据库系统中有一个主数据库和三个从数据库,即有4个数据库,在查找各数据库中均符合预设条件的索引时,可以直接判断该条索引在第一分析统计表中出现的次数是不是为4次,如果为是,说明该条索引对于各数据库都是符合预设条件的,即为冗余索引;如果为否,说明该条索引是被某一个(或多个)数据库需要的,不属于冗余索引。
数据库的表中通常有一列或列组合用来唯一标识表中的每一行,称为表的主键,为表设定一个主键将自动创建主键索引。主键索引要求主键中的每个值是唯一的,当在查询中使用主键索引时,可允许快速访问数据,所以作为表中的每一行的唯一标识,主键索引是不能被删除的。为了防止查找到的第一分析统计表中存在主键索引,在本发明的一个实施例中,获取单元310,进一步适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
进一步地,获取单元310,适于通过查询该数据库的第二原生表,获取该数据库中的主键索引;第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
数据库中索引的类型被保存在数据库的原生表中,例如表“information_schema.TABLE_CONSTRAINTS”,从该表中可以获得该数据库中的主键索引,并将该数据库中的符合预设条件的索引中的主键索引排除。
第一分析统计表中保存每条符合预设条件的索引时,不仅仅要保存索引本身的信息,为了区分索引的地址,以便后续操作的进行。在本发明的一个实施例中,获取单元310,适于每获取到一个符合预设条件的索引,向第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
为了节省第一分析统计表中的存储空间和减少数据量,进一步地,获取单元310,进一步适于将第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到第一分析统计表中。例如,对于3001端口的数据库系统中的数据库DB1中的数据表table1中符合预设条件的索引可以合并成一条索引记录“3001DB1table1:index1,index2,index3.....”,将多条索引存储合并成一条索引存储,这样就可以减少数据量,节省存储空间。
当各数据库中均符合预设条件的索引保存到待处理列表后,不应该立刻进行删除的操作,因为数据库中的数据以及数据查询是针对相应的业务需求,在对索引进行删除操作之前需要得到业务端的许可。在本发明的一个实施例中,索引处理单元340,进一步适于在从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引之前,将待处理列表发送给相应的业务端;当接收到相应业务端的删除指示后,再执行从主从式数据库系统中的各数据库中删除存在于待处理列表中的索引的步骤。
获取单元310将多条索引存储合并成一条索引存储可便于业务端的查看。业务端可根据业务需求对其中的某些索引进行删除,也可以进行全部删除。
然而,本领域技术人员应可了解,上述经过业务端确认后方可删除冗余索引的方式并非本发明的限制。由于所述索引使用频率低,对业务的影响也有限,因此当各数据库中均符合预设条件的索引保存到待处理列表后,也可以不经过业务端同意而直接进行删除的操作。
需要说明的是,图2-图3所示装置的各实施例与图1所示方法的各实施例对应相同,上文已有详细说明,在此不再赘述。
根据本发明技术方案,遍历主从数据库系统中的每个数据库,将每个数据库中符合预设条件的索引分别查找出来并保存在一个新建的分析统计表中,这样就可以不影响数据库查询的正常操作;然后再从分析统计表中查找出在各个数据库中的均符合预设条件的索引保存到待处理列表中,对应删除数据库系统中所有的存在于待处理列表中的索引,减少磁盘空间的浪费。综上所述,本发明可以在不影响数据库系统正常查询的情况下,删除冗余索引,释放浪费的磁盘空间,保证数据库查询的速度。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的处理主从式数据库系统中的索引的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (22)
1.一种处理主从式数据库系统中的索引的方法,包括:
对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中,其中,该预设条件用于判断索引是否为冗余索引,所述预设条件与索引被访问的次数、被访问的频率或被访问的时间有关,所述主从式数据库系统包括一个主数据库和至少一个从数据库,所述第一分析统计表是新建的且不属于所述主从式数据库系统;
从所述第一分析统计表中查找出在所述主从式数据库系统的各数据库中均符合预设条件的索引并保存到待处理列表中;
从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引。
2.如权利要求1所述的方法,其中,所述获取该数据库中的符合预设条件的索引包括:
获取该数据库中被访问次数不超过预设阈值的索引。
3.如权利要求2所述的方法,其中,所述获取该数据库中被访问次数不超过预设阈值的索引包括:
通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;所述第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
4.如权利要求1所述的方法,其中,所述获取该数据库中的符合预设条件的索引包括:
获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。
5.如权利要求4所述的方法,其中,所述获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引包括:从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引;
其中,对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间。
6.如权利要求1所述的方法,其中,从所述第一分析统计表中查找出在各数据库中均符合预设条件的索引包括:
从所述第一分析统计表中查找在第一分析统计表中出现的次数等于所述主从式数据库系统中的数据库个数的索引。
7.如权利要求1所述的方法,其中,该方法进一步包括:
对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;
在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
8.如权利要求7所述的方法,其中,所述获取该数据库中的主键索引包括:
通过查询该数据库的第二原生表,获取该数据库中的主键索引;
所述第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
9.如权利要求1所述的方法,其中,所述将获取到的符合预设条件的索引保存到第一分析统计表中包括:
每获取到一个符合预设条件的索引,向所述第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
10.如权利要求9所述的方法,其中,该方法进一步包括:
将所述第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到所述第一分析统计表中。
11.如权利要求1所述的方法,其中,在从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引之前,该方法进一步包括:
将所述待处理列表发送给相应的业务端;
当接收到相应业务端的删除指示后,再执行所述从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引的步骤。
12.一种处理主从式数据库系统中的索引的装置,包括:
获取单元,适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的符合预设条件的索引,将获取到的符合预设条件的索引保存到第一分析统计表中;其中,该预设条件用于判断索引是否为冗余索引,所述预设条件与索引被访问的次数、被访问的频率或被访问的时间有关,所述主从式数据库系统包括一个主数据库和至少一个从数据库,所述第一分析统计表是新建的且不属于所述主从式数据库系统;
查找单元,适于从所述第一分析统计表中查找出在所述主从式数据库系统的各数据库中均符合预设条件的索引并保存到待处理列表中;
存储单元,适于存储所述第一分析统计表和待处理列表;
索引处理单元,适于从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引。
13.如权利要求12所述的装置,其中,
所述获取单元,适于获取该数据库中被访问次数不超过预设阈值的索引。
14.如权利要求13所述的装置,其中,
所述获取单元,适于通过查询该数据库的第一原生表,获取该数据库中被访问次数不超过预设阈值的索引;所述第一原生表中记录了自该数据库启动以来的各索引的被访问次数。
15.如权利要求12所述的装置,其中,
所述获取单元,适于获取该数据库中的最后一次被访问的时间距离当前时间超出预设时间长度的索引。
16.如权利要求15所述的装置,其中,该装置进一步包括:记录单元,适于对于一个主从式数据库系统中的每个数据库,在第二分析统计表中记录该数据库中的索引的最后一次被访问的时间;
所述存储单元,进一步适于存储第二分析统计表;
所述获取单元,适于从第二分析统计表中查找出最后一次被访问的时间距离当前时间超出预设时间长度的索引。
17.如权利要求12所述的装置,其中,
所述查找单元,适于从所述第一分析统计表中查找在第一分析统计表中出现的次数等于所述主从式数据库系统中的数据库个数的索引。
18.如权利要求12所述的装置,其中,
所述获取单元,进一步适于对于一个主从式数据库系统中的每个数据库,获取该数据库中的主键索引;在将该数据库中的符合预设条件的索引保存到第一分析统计表时,排除其中的主键索引。
19.如权利要求18所述的装置,其中,
所述获取单元,适于通过查询该数据库的第二原生表,获取该数据库中的主键索引;所述第二原生表中记录了该数据库中的索引的类型;索引的类型包括:主键索引。
20.如权利要求12所述的装置,其中,
所述获取单元,适于每获取到一个符合预设条件的索引,向所述第一分析统计表中添加一条索引记录;一条索引记录包括:端口号、数据库标识、数据表标识和索引标识。
21.如权利要求20所述的装置,其中,
所述获取单元,进一步适于将所述第一分析统计表中的数据库标识和数据表标识相同的各条索引记录合并成一条索引记录存储到所述第一分析统计表中。
22.如权利要求12所述的装置,其中,
所述索引处理单元,进一步适于在从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引之前,将所述待处理列表发送给相应的业务端;当接收到相应业务端的删除指示后,再执行所述从所述主从式数据库系统中的各数据库中删除存在于所述待处理列表中的索引的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611001970.9A CN106776702B (zh) | 2016-11-11 | 2016-11-11 | 一种处理主从式数据库系统中的索引的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611001970.9A CN106776702B (zh) | 2016-11-11 | 2016-11-11 | 一种处理主从式数据库系统中的索引的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106776702A CN106776702A (zh) | 2017-05-31 |
CN106776702B true CN106776702B (zh) | 2021-03-05 |
Family
ID=58968053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611001970.9A Active CN106776702B (zh) | 2016-11-11 | 2016-11-11 | 一种处理主从式数据库系统中的索引的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106776702B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391633A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据库集群自动优化处理方法、装置及服务器 |
CN110019168B (zh) * | 2017-12-26 | 2021-04-20 | 浙江宇视科技有限公司 | 文件合并方法和系统 |
CN109299098B (zh) * | 2018-09-29 | 2022-04-12 | 北京理工大学 | 一种多个多层表头的表格在数据库中的存储及其访问方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024015A (zh) * | 2009-09-18 | 2011-04-20 | 软件股份公司 | 用于批量删除数据库系统的数据记录的方法 |
CN102270231A (zh) * | 2011-07-21 | 2011-12-07 | 苏州阔地网络科技有限公司 | 一种数据库索引建立方法及装置 |
CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件系统的海量小文件存储方法 |
CN103823865A (zh) * | 2014-02-25 | 2014-05-28 | 南京航空航天大学 | 一种数据库主存索引方法 |
CN105095255A (zh) * | 2014-05-07 | 2015-11-25 | 中兴通讯股份有限公司 | 一种数据索引创建方法及装置 |
CN105279166A (zh) * | 2014-06-20 | 2016-01-27 | 中国电信股份有限公司 | 文件管理方法和系统 |
CN105426128A (zh) * | 2015-11-16 | 2016-03-23 | 浪潮集团有限公司 | 一种索引的维护方法及装置 |
CN106649584A (zh) * | 2016-11-18 | 2017-05-10 | 北京奇虎科技有限公司 | 一种主从式数据库系统中的索引处理方法和装置 |
CN109446258A (zh) * | 2018-10-22 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种分布式数据存储方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101494560B (zh) * | 2009-02-20 | 2011-11-09 | 华为技术有限公司 | 主从网络设备配置方法、装置和系统 |
CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | 中国移动通信集团公司 | 分布式数据库系统、在其中建立索引的方法和查询方法 |
CN102779185B (zh) * | 2012-06-29 | 2014-11-12 | 浙江大学 | 一种高可用分布式全文索引方法 |
CN103765391A (zh) * | 2012-08-23 | 2014-04-30 | 数创株式会社 | 分布式数据库系统 |
CN103957195B (zh) * | 2014-04-04 | 2017-11-03 | 北京奇虎科技有限公司 | Dns系统以及dns攻击的防御方法和防御装置 |
US9875259B2 (en) * | 2014-07-22 | 2018-01-23 | Oracle International Corporation | Distribution of an object in volatile memory across a multi-node cluster |
CN105701098B (zh) * | 2014-11-25 | 2019-07-09 | 国际商业机器公司 | 针对数据库中的表生成索引的方法和装置 |
-
2016
- 2016-11-11 CN CN201611001970.9A patent/CN106776702B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024015A (zh) * | 2009-09-18 | 2011-04-20 | 软件股份公司 | 用于批量删除数据库系统的数据记录的方法 |
CN102270231A (zh) * | 2011-07-21 | 2011-12-07 | 苏州阔地网络科技有限公司 | 一种数据库索引建立方法及装置 |
CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件系统的海量小文件存储方法 |
CN103823865A (zh) * | 2014-02-25 | 2014-05-28 | 南京航空航天大学 | 一种数据库主存索引方法 |
CN105095255A (zh) * | 2014-05-07 | 2015-11-25 | 中兴通讯股份有限公司 | 一种数据索引创建方法及装置 |
CN105279166A (zh) * | 2014-06-20 | 2016-01-27 | 中国电信股份有限公司 | 文件管理方法和系统 |
CN105426128A (zh) * | 2015-11-16 | 2016-03-23 | 浪潮集团有限公司 | 一种索引的维护方法及装置 |
CN106649584A (zh) * | 2016-11-18 | 2017-05-10 | 北京奇虎科技有限公司 | 一种主从式数据库系统中的索引处理方法和装置 |
CN109446258A (zh) * | 2018-10-22 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种分布式数据存储方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106776702A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9171027B2 (en) | Managing a multi-version database | |
US20100211577A1 (en) | Database processing system and method | |
US8924373B2 (en) | Query plans with parameter markers in place of object identifiers | |
US20130254240A1 (en) | Method of processing database, database processing apparatus, computer program product | |
US11288287B2 (en) | Methods and apparatus to partition a database | |
US10776345B2 (en) | Efficiently updating a secondary index associated with a log-structured merge-tree database | |
CN106776702B (zh) | 一种处理主从式数据库系统中的索引的方法和装置 | |
CN110928882B (zh) | 一种基于改进红黑树的内存数据库索引方法及系统 | |
CN111209296A (zh) | 数据库访问方法、装置、电子设备及存储介质 | |
KR101640733B1 (ko) | 인-메모리 데이터베이스 기반의 데이터 관리 시스템 및 그 방법 | |
CN109388644B (zh) | 一种数据更新方法及装置 | |
CN113918535A (zh) | 一种数据读取方法、装置、设备及存储介质 | |
CN107704603A (zh) | 一种实现读写分离的方法及装置 | |
US10013442B2 (en) | Database value identifier hash map | |
CN106649584B (zh) | 一种主从式数据库系统中的索引处理方法和装置 | |
CN109213760A (zh) | 非关系数据存储的高负载业务存储及检索方法 | |
US10019483B2 (en) | Search system and search method | |
US11221788B2 (en) | Data storage method and data storage engine | |
WO2023078130A1 (zh) | 索引创建方法、装置和计算机可读存储介质 | |
CN110019448B (zh) | 一种数据交互方法及装置 | |
CN110413617B (zh) | 一种根据数据量的大小动态调节哈希表组的方法 | |
CN108984720B (zh) | 基于列存储的数据查询方法、装置、服务器及存储介质 | |
CN108073596B (zh) | 一种olap数据库的数据删除方法及装置 | |
CN113760171A (zh) | 一种元数据存储方法及装置 | |
JP2016194826A (ja) | データベースの処理制御方法、処理制御プロラム及びデータベースサーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240109 Address after: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |