CN110765133A - 一种基于数据取余分配数据表的控制方法及装置 - Google Patents
一种基于数据取余分配数据表的控制方法及装置 Download PDFInfo
- Publication number
- CN110765133A CN110765133A CN201911015453.0A CN201911015453A CN110765133A CN 110765133 A CN110765133 A CN 110765133A CN 201911015453 A CN201911015453 A CN 201911015453A CN 110765133 A CN110765133 A CN 110765133A
- Authority
- CN
- China
- Prior art keywords
- data
- remainder
- data table
- control method
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于数据取余分配数据表的控制方法,其通过接收将数据插入数据表的指令信息,并获取所述数据对应的数据ID,针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数,最后将所述数据插入以所述余数作为编号的数据表,以使得在查询数据时,能够先根据数据的ID获取到余数对应的编号,并在所述编号对应的数据表中查找所述数据,即使得在查找数据时缩小了查找的范围,降低的查找的范围,提高了查找的效率,缩短了查找的时间,同时本申请能够根据数据量的大小、查找的难度灵活的调整数据表的编号的数量,本申请使用简单、操作便捷、查找效率高、适应性强,具有极高的商业价值。
Description
技术领域
本发明属于计算机技术应用领域,特别涉及一种基于数据取余分配数据表的控制方法及装置。
背景技术
随着时代的不断进步,科技的不断发展,对于终端中数据的存储、提取、运用一直都在不断的更新、改进,例如增大存储量、提高运算效率等等,但随着日渐增加数据量的数据库,人们在对数据进行查找、提取的速度越来越慢,时间越来越长,甚至会造成卡顿,给用户以及运营商带来了很大的不便。
如何在庞大的数据库中迅速的找到用户想要的数据,成为了目前亟待解决的技术问题,部分运营商通过提升系统运算性能、增大数据库的容量等等方式来解决上述技术问题,甚至有的开发商会通过将数据库分为多个不同的数据库,并将数据进行分类分配,但如何基于不同数据的特性来实现不同数据类的分配却又成为了新的技术问题。
目前在现有的技术中,并没有一种能够解决上述技术问题的技术方案,具体地,缺少一种基于数据取余分配数据表的控制方法及装置。
发明内容
针对现有技术存在的技术缺陷,本发明的目的是提供一种基于数据取余分配数据表的控制方法,包括如下步骤:
a.接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表;
b.获取所述数据对应的数据ID;
c.针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数;
d.将所述数据插入以所述余数作为编号的数据表。
在一个实施例中,在所述步骤b中,若所述数据不存在数据ID,则对所述用户数据分配一个随机数作为所述数据ID。
在另一个实施例中,在所述步骤b中,若所述数据不存在数据ID,则将所述数据插入到数据最少的数据表中,并基于所述数据表的编号确定数据ID。
优选地,在所述步骤d中,判断是否存在所述余数的编号,若不存在所述编号,则创建所述余数的编号。
优选地,在所述步骤c中,以J为基数对所述数据ID做余数计算,其中J大于等于1。
优选地,所述J根据如下因数而增加:
-读取数据的平均耗时长;或者
-数据表的数据量大小。
优选地,还包括如下步骤:
e.接收查询数据的指令信息;
f.获取所述数据的数据ID;
g.基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号。
优选地,基于所述数据创建的时间确定所述基数J。
根据本发明的另一个方面,提供了一种基于数据取余分配数据表的控制装置,包括:
第一接收装置:接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表;
第一获取装置:获取所述数据对应的数据ID;
第二获取装置:针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数;
第一处理装置:将所述数据插入以所述余数作为编号的数据表。
优选地,还包括:
第二接收装置:接收查询数据的指令信息;
第三获取装置:获取所述数据的数据ID;
第二处理装置:基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号。
本发明提供了一种基于数据取余分配数据表的控制方法,其通过接收将数据插入数据表的指令信息,并获取所述数据对应的数据ID,针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数,最后将所述数据插入以所述余数作为编号的数据表,以使得在查询数据时,能够先根据数据的ID获取到余数对应的编号,并在所述编号对应的数据表中查找所述数据,即使得在查找数据时缩小了查找的范围,降低的查找的范围,提高了查找的效率,缩短了查找的时间,同时本申请能够根据数据量的大小、查找的难度灵活的调整数据表的编号的数量,本申请使用简单、操作便捷、查找效率高、适应性强,具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出了本发明的具体实施方式的,一种基于数据取余分配数据表的控制方法的具体流程示意图;
图2示出了本发明的第一实施例的,一种基于数据取余分配数据表的控制方法的具体流程示意图;以及
图3示出了本发明的另一具体实施方式的,一种基于数据取余分配数据表的控制装置的模块连接示意图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来,下面结合附图对本发明作进一步说明。
本领域技术人员理解,针对现有技术的不足,本发明公开了一种基于数据取余分配数据表的控制方法,使得在查询数据时,能够先根据数据的ID获取到余数对应的编号,并在所述编号对应的数据表中查找所述数据,使在查找数据时缩小了查找的范围,降低的查找的范围,提高了查找的效率,缩短了查找的时间,同时本申请能够根据数据量的大小、查找的难度灵活的调整数据表的编号的数量,本发明旨在解决上述技术问题而作出的技术方案包括但不限于说明书中记载的实施方式,还可以有其他的实施例,本申请将在后述实施方式中作进一步地描述,在此不予赘述。
图1示出了本发明的具体实施方式的,一种基于数据取余分配数据表的控制方法的具体流程示意图,图1主要示出了一种将数据以一种特定的方式插入到指定数据表的实施方式,本发明中所记载的数据表适用于所有类型的数据表,但为了更好的对本发明进行描述,本发明将通过用户数据表这一典型来对本申请的具体实施方式作出说明,例如,在图1中,所述数据ID对应的是用户数据ID,而数据表则对应的是用户数据表,具体地,包括如下步骤:
首先,进入步骤S101,接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表,本领域技术人员理解,所述指令信息即为用户发出的,用于将数据插入一数据表的指令,进一步地,在现有的技术中,只需要将需要插入的数据插入到一个数据表中即可,而在本发明中,设置有多张数据表,并根据所述数据的特征信息的不同,插入到不同的数据表中。
然后,进入步骤S102,获取所述数据对应的数据ID,在这样的实施例中,每一个数据都对应有一个数据ID,如果是用户数据,则对应有用户ID,所述数据ID可以是其数据本身自带的数值,也可以是本申请赋予给数据的ID,其相当于是给所述数据带上一个标签,为了更好的通过所述标签在数据表中查到所述数据。
再然后,进入步骤S103,针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数,在这样的实施例中,本发明将通过数据ID除以一个特定数,并获取其除后的余数,所述特定数即为后述中的基数,将在后述的具体实施方式中做进一步地描述,本步骤的目的在于将所述数据ID与一余数进行对应,在一个优选地实施例中,若所述数据ID为119,而所述特定数为9,两者相除后余2。
最后,进入步骤S104,将所述数据插入以所述余数作为编号的数据表,进一步地,结合上述实施例,若所述数据ID为119,而所述特定数为9,两者相除后余2,则将所述数据插入到编号为2的数据表中。
本领域技术人员理解,以J为基数对所述数据ID做余数计算,其中J大于等于1,即所述基数优选地在1以上,根据本申请中除余后的特点,当选取基数为3时,则对应有编号0、1、2,相应地,若选取基数为5时,则对应有编号0、1、2、3、4,若选取基数为10时,则对应有编号0、1、2、3、4、5、6、7、8、9这10组编号,即对应有10组数据表。本领域技术人员理解,还可以基于所述数据创建的时间确定所述基数J,此时所述基础J为原始的基数。
从上述实施例中可以发现,随着基数的增加,可被用于插入数据的数据表的个数也随之增加,即我们可以根据其数据量的大小、读取数据的时长来实时调整数据表的个数,以提高读取效率,进一步地,若数据量的大小超过某一阈值或者读取数据的时长超过某一阈值,则系统将发出是否调整基数的指令,或者直接不需要授权,直接对数据以及数据表进行调整,进一步地,在这样的实施例中,当基数进行调整时,实际上所有的数据所对应的编号都将重新编排,重新写入,重新插入到对应不同的数据表中,故本领域技术人员理解,并不需要过于频繁的调整基数的大小。
在一个实施例中,若所述数据不存在数据ID,则对所述用户数据分配一个随机数作为所述用户ID,在这样的实施例中,若需要被插入的数据没有对应的数据ID,则系统会为所述数据匹配一个数据ID,进一步地,将所述数据ID根据基数除余,进而将其匹配插入到对应的数据表中。
而在另一个实施例中,若所述数据不存在数据ID,则将所述数据插入到数据最少的数据表中,并基于所述数据表的编号确定数据ID,在这样的实施例中,主要目的是为了合理分配数据表中的资源,以免造成一个或多个数据表数据过多,一个或多个数据表的数据过少,通过将没有数据ID的数据插入到数据最少的数据表中,则可以合理分配数据,改善分配不平衡的状况,从而提高读取效率,进一步地,若所述数据编号为6的数据表数据最少,则将所述数据插入到所述编号为6的数据表中,进一步地,当所述基数为9时,则根据所述编号以及所述基数来确定数据ID,例如,确定所述数据ID为105或者可以为114,在一个优选地实施例中,当暂定所述数据ID后,会对所述编号对应的数据表中其他的数据ID进行比对,确定所述数据ID与其他数据ID都不同时,使用所述数据ID,进一步地,暂定所述数据ID为105,但数据表中已经存在有数据ID105,则可以以暂定的数据ID为基准,加上基数的倍数或者减去基数的倍数后得到的数据ID作为数据ID,并再一次的与所述编号对应的数据表中其他的数据ID进行比对,直到确定最终的数据ID。
进一步地,在一个优选地实施例中,由于查询时间过长或表总数过大,则需要对数据进行分表,分表分为如下几步:首先将旧表数据转移至新表,转移方法就是ID除以分表的总数,进一步地,数据是按照顺序插入,直到源表中数据分配结束。插入到新表以后,id不再是之前的id,而是使用新的id。新的id是从新表中从1开始递增。
进一步地,在所述步骤d中,判断是否存在所述余数的编号,若不存在所述编号,则创建所述余数的编号。本实施例主要用于在调整基数时如何对没有的编号的数据表进行处理,例如,系统由于读取速度过长,需要将基数从11调整到12,则意味着需要增加编号11,本领域技术人员理解,在对数据表中数据进行清理后,会减少数据表中数据所带来的负载,从而降低读取数据时长,此时则可以对所述数据表进行缩减,其主要技术手段则可以通过降低基数从而减少编号,而本申请主要要保护的技术手段是一种将数据进行合理分配,并能够基于不同时期的数据量来实时调整数据表的控制方法,故本申请中所记载的基数的增加或者减小调整同样是本申请需要保护的技术方案,在此不予赘述。
本领域技术人员理解,由于数据量过大、查询效率慢、历史数据归档或者其他分表原因而提出了本发明所记载的基于数据取余分配数据表的控制方法,在一个优选地实施例中,其首先通过将原数据拆分,拆分为N个表,分表为tb1、tb2…tbN,然后插入数据,数据的ID与N进行余运算,得到余数J和除数K,插入到tbJ+1表中,插入到新表ID为K,进一步地,有新数据插入时,首先可以获取数据量最小的表进行数据插入,然后自动分配ID,最后,在查询操作中,历史数据查询将根据查询ID对N进行余运算,得到余数J和除数K,即在tbJ+1表中查询ID为K的记录,进一步地,分表后数据查询将根据数据的ID以及表的ID,在表的tbJ+1中查询ID为K的记录。
图2示出了本发明的第一实施例的,一种基于数据取余分配数据表的控制方法的具体流程示意图,本领域技术人员理解,本申请图2实际上公开的是一种如何基于图1中示出的技术方案来查找数据的一种辅助控制方法,具体地,包括如下步骤:
首先,进入步骤S201,接收查询数据的指令信息,在这样的实施例中,用户需要对某一数据进行查询,则将需要进行查询的指令生成,进一步地,本申请所记载的控制装置接收查询数据的指令信息。
然后,进入步骤S202,获取所述数据的数据ID,在这样的实施例中,本发明在执行完步骤S101至步骤S104后,优选地会对所述数据所对应的数据ID进行存储,而在步骤S202中,即首先基于所述数据获取到其对应的数据ID。
最后,进入步骤S203,基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号,在这样的实施例中,根据当前的基数J以及所述数据所对应的数据ID,确定所述数据ID所对应的余数,也就是所述余数所对应的数据表编号,进而确定所述数据在哪个编号的数据表中,并在所述数据表中查找所述数据,从而提高了查找效率。
图3示出了本发明的另一具体实施方式的,一种基于数据取余分配数据表的控制装置的模块连接示意图,包括第一接收装置,接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表,所述第一接收装置的工作原理可以参考前述步骤S101,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第一获取装置,获取所述数据对应的数据ID,所述第一获取装置的工作原理可以参考前述步骤S102,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第二获取装置:针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数,所述第二获取装置的工作原理可以参考前述步骤S103,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第一处理装置:将所述数据插入以所述余数作为编号的数据表,所述第一处理装置的工作原理可以参考前述步骤S104,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第二接收装置:接收查询数据的指令信息,所述第二接收装置的工作原理可以参考前述步骤S201,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第三获取装置,获取所述数据的数据ID,所述第三获取装置的工作原理可以参考前述步骤S202,在此不予赘述。
进一步地,所述基于数据取余分配数据表的控制装置还包括第二处理装置:基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号,所述第二处理装置的工作原理可以参考前述步骤S203,在此不予赘述。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种基于数据取余分配数据表的控制方法,其特征在于,包括如下步骤:
a.接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表;
b.获取所述数据对应的数据ID;
c.针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数;
d.将所述数据插入以所述余数作为编号的数据表。
2.根据权利要求1所述的控制方法,其特征在于,在所述步骤b中,若所述数据不存在数据ID,则对所述用户数据分配一个随机数作为所述数据ID。
3.根据权利要求1所述的控制方法,其特征在于,在所述步骤b中,若所述数据不存在数据ID,则将所述数据插入到数据最少的数据表中,并基于所述数据表的编号确定数据ID。
4.根据权利要求1至3中任一项所述的控制方法,其特征在于,在所述步骤d中,判断是否存在所述余数的编号,若不存在所述编号,则创建所述余数的编号。
5.根据权利要求1至4中任一项所述的控制方法,其特征在于,在所述步骤c中,以J为基数对所述数据ID做余数计算,其中J大于等于1。
6.根据权利要求5所述的控制方法,其特征在于,所述J根据如下因数而增加:
-读取数据的平均耗时长;或者
-数据表的数据量大小。
7.根据权利要求1至6中任一项所述的控制方法,其特征在于,还包括如下步骤:
e.接收查询数据的指令信息;
f.获取所述数据的数据ID;
g.基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号。
8.根据权利要求7所述的控制方法,其特征在于,基于所述数据创建的时间确定所述基数J。
9.一种基于数据取余分配数据表的控制装置,其特征在于,包括:
第一接收装置(1):接收将数据插入数据表的指令信息,其中,所述数据表为多张数据表;
第一获取装置(2):获取所述数据对应的数据ID;
第二获取装置(3):针对所述数据ID做余数计算,并获得与所述数据ID相对应的余数;
第一处理装置(4):将所述数据插入以所述余数作为编号的数据表。
10.根据权利要求9所述的控制装置,其特征在于,还包括:
第二接收装置(5):接收查询数据的指令信息;
第三获取装置(6):获取所述数据的数据ID;
第二处理装置(7):基于基数J对所述数据ID进行余数计算,并根据余数确定所述数据所在的数据表的编号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911015453.0A CN110765133A (zh) | 2019-10-24 | 2019-10-24 | 一种基于数据取余分配数据表的控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911015453.0A CN110765133A (zh) | 2019-10-24 | 2019-10-24 | 一种基于数据取余分配数据表的控制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110765133A true CN110765133A (zh) | 2020-02-07 |
Family
ID=69333204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911015453.0A Withdrawn CN110765133A (zh) | 2019-10-24 | 2019-10-24 | 一种基于数据取余分配数据表的控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765133A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656430A (zh) * | 2021-08-12 | 2021-11-16 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018001085A1 (zh) * | 2016-06-30 | 2018-01-04 | 中兴通讯股份有限公司 | 数据存储方法和装置、数据查找请求的处理方法和装置 |
CN109558409A (zh) * | 2018-12-06 | 2019-04-02 | 泰康保险集团股份有限公司 | 数据处理方法及装置 |
CN109800270A (zh) * | 2019-01-22 | 2019-05-24 | 青岛聚好联科技有限公司 | 一种数据存储和查询的方法及物联网系统 |
-
2019
- 2019-10-24 CN CN201911015453.0A patent/CN110765133A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018001085A1 (zh) * | 2016-06-30 | 2018-01-04 | 中兴通讯股份有限公司 | 数据存储方法和装置、数据查找请求的处理方法和装置 |
CN109558409A (zh) * | 2018-12-06 | 2019-04-02 | 泰康保险集团股份有限公司 | 数据处理方法及装置 |
CN109800270A (zh) * | 2019-01-22 | 2019-05-24 | 青岛聚好联科技有限公司 | 一种数据存储和查询的方法及物联网系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656430A (zh) * | 2021-08-12 | 2021-11-16 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
CN113656430B (zh) * | 2021-08-12 | 2024-02-27 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11899937B2 (en) | Memory allocation buffer for reduction of heap fragmentation | |
US5732402A (en) | System and method for data space management using buddy system space allocation | |
CN107577436B (zh) | 一种数据存储方法及装置 | |
CN106611064B (zh) | 分布式关系数据库的数据处理方法和装置 | |
CN102495894A (zh) | 重复数据查找方法、装置及系统 | |
CN103873504A (zh) | 数据分块存储至分布式服务器的系统及方法 | |
KR20130020050A (ko) | 로컬리티 센서티브 해시의 버킷 구간 관리 장치 및 그 방법 | |
CN104978324B (zh) | 一种数据处理方法和装置 | |
CN111694505B (zh) | 数据存储管理方法、装置和计算机可读存储介质 | |
CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
US7587568B2 (en) | Method and system of reclaiming storage space in data storage systems | |
CN103246745A (zh) | 一种基于数据仓库的数据处理装置及方法 | |
CN112685333B (zh) | 一种堆内存管理方法及装置 | |
CN113849499A (zh) | 数据的查询方法、装置、存储介质及电子装置 | |
CN110515895B (zh) | 大数据存储系统中对数据文件进行关联存储的方法及系统 | |
CN101751429A (zh) | 一种前后台数据库的同步方法及装置 | |
CN109033295A (zh) | 超大数据集的合并方法及装置 | |
CN110765133A (zh) | 一种基于数据取余分配数据表的控制方法及装置 | |
CN104102735A (zh) | 一种针对数据库文件的文件系统优化方法和装置 | |
CN111414422B (zh) | 一种数据分布方法、装置、设备和存储介质 | |
CN110825953B (zh) | 数据查询方法、装置和设备 | |
CN109165305B (zh) | 一种特征值存储、检索方法及装置 | |
US10311026B2 (en) | Compressed data layout for optimizing data transactions | |
CN116450607A (zh) | 数据处理方法、设备及存储介质 | |
CN109756780A (zh) | 一种视频处理的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200207 |