CN111459939A - 数据的处理方法及装置 - Google Patents

数据的处理方法及装置 Download PDF

Info

Publication number
CN111459939A
CN111459939A CN202010242719.1A CN202010242719A CN111459939A CN 111459939 A CN111459939 A CN 111459939A CN 202010242719 A CN202010242719 A CN 202010242719A CN 111459939 A CN111459939 A CN 111459939A
Authority
CN
China
Prior art keywords
data
cold
hot
processed
current latest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010242719.1A
Other languages
English (en)
Other versions
CN111459939B (zh
Inventor
张雄盼
张顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010242719.1A priority Critical patent/CN111459939B/zh
Publication of CN111459939A publication Critical patent/CN111459939A/zh
Application granted granted Critical
Publication of CN111459939B publication Critical patent/CN111459939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation

Abstract

本申请提供了一种数据的处理方法及装置,其中,所述数据的处理方法,包括:获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳;对比所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系;若对比出所述待处理数据的时间戳大于所述当前最新的冷热阈值,则将所述待处理数据划分为热数据;若对比出所述待处理数据的时间戳不大于所述当前最新的冷热阈值,则将所述待处理数据划分为冷数据。从而实现了一种基于时间戳划分冷热数据的方法,可以有效地提高了受时效性影响的数据的查询效率。

Description

数据的处理方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据的处理方法及装置。
背景技术
在云计算、大数据等新兴技术的推动下,企业纷纷加速向数据时代迁移,所以对于数据的查询效率要求越来越高。但是现今,企业每天都会产生大量的数据,数据量不断增加,使得数据查询时间不断地变慢,从而严重影响了数据的查询效率。
由于数据的作用、重要程度以及时效性等因素的影响,使得不同数据的访问频率存在着较大的差异,所以其实在大量的数据中仅有一小部分的数据被频繁的访问。所以为了能有效地提高数据的查询效率,现有的方式是根据数据的访问频率,将访问频率高于预设频率值的数据划分为热数据,将访问频率低于预设频率值的数据划分为冷数据,并将冷数据和热数据分开存储,从而能有效地提高数据的查询效率。
但是现有的方式需要基于数据的访问频率,才能将数据划分为冷热数据,所以对没有访问频率的数据是无法进行划分,或者只能都划分为冷数据。并且对于新产生的数据,由于访问量为零,所以起初也会被划分为冷数据,因此查询新数据的时间会比较长。对于访问频率主要受时效性影响的数据,新产生的数据后续的访问频率通常会比较高,因此现有的方式并不能很好的改善访问频率主要受时效性影响的数据的查询效率。
发明内容
基于上述现有技术的不足,本发明提供了一种数据的处理方法及装置,以解决现有技术无法很好的改善具有时效性的数据的查询效率的问题。
为了实现上述目的,本发明提供了以下技术方案:
本申请第一方面提供了一种数据的处理方法,包括:
获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳;
对比所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系;
若对比出所述待处理数据的时间戳大于所述当前最新的冷热阈值,则将所述待处理数据划分为热数据;
若对比出所述待处理数据的时间戳不大于所述当前最新的冷热阈值,则将所述待处理数据划分为冷数据。
可选地,在上述的数据的处理方法中,还包括:
接收目标数据的查询请求;
确定所述目标数据的时间戳;
对比所述目标数据的时间戳与所述当前最新的冷热阈值的大小关系;
若判断出所述目标数据的时间戳大于所述当前最新的冷热阈值,则将所述当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值;
若判断出所述目标数据的时间戳小于所述当前最新的冷热阈值,则将所述当前的冷热阈值减去所述预设单位量的差值,设定为当前最新的冷热阈值。
可选地,在上述的数据的处理方法中,还包括:
实时监测存储所述冷数据的冷数据表中的数据存储量;
若检测到所述冷数据表中的数据存储量大于预设存储量,则创建新的冷数据表;
将数量为所述冷数据表中与所述预设存储量的差值的所述冷数据,从所述冷数据表移至所述新的冷数据表中。
可选地,在上述的数据的处理方法中,还包括:
若所述待处理数据被划分为热数据,则将所述待处理数据存储至同一张热数据表中;
若所述待处理数据被划分为冷数据,则将所述待处理数据存储至当前最新的所述冷数据表中。
可选地,在上述的数据的处理方法中,还包括:
定时分别针对存储所述热数据的热数据表中的每个热数据,判断所述热数据的时间戳是否大于所述当前最新的冷热阈值;
若判断出所述热数据的时间戳不大于所述当前最新的冷热阈值,则将所述热数据划分冷数据,并存储至冷数据表中。
本申请第二方面提供了一种数据的处理装置,包括:
获取单元,用于获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳;
第一对比单元,用于对比所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系;
第一划分单元,用于在所述第一对比单元对比出所述待处理数据的时间戳大于所述当前最新的冷热阈值时,将所述待处理数据划分为热数据;
第二划分单元,用于在所述第一对比单元对比出所述待处理数据的时间戳不大于所述当前最新的冷热阈值时,将所述待处理数据划分为冷数据。
可选地,在上述的数据的处理装置中,还包括:
接收单元,用于接收目标数据的查询请求;
确定单元,用于确定所述目标数据的时间戳;
第二对比单元,用于对比所述目标数据的时间戳与所述当前最新的冷热阈值的大小关系;
阈值设定单元,用于在所述第二对比单元判断出所述目标数据的时间戳大于所述当前最新的冷热阈值时,将所述当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值,以及在所述第二对比单元判断出所述目标数据的时间戳小于所述当前最新的冷热阈值,则将所述当前的冷热阈值减去所述预设单位量的差值,设定为当前最新的冷热阈值。
可选地,在上述的数据的处理装置中,还包括:
监测单元,用于实时监测存储所述冷数据的冷数据表中的数据存储量;
创建单元,用于在所述监测单元检测到所述冷数据表中的数据存储量大于预设存储量时,创建新的冷数据表;
迁移单元,用于将数量为所述冷数据表中与所述预设存储量的差值的所述冷数据,从所述冷数据表移至所述新的冷数据表中。
可选地,在上述的数据的处理装置中,还包括:
第一存储单元,用于在所述待处理数据被划分为热数据时,将所述待处理数据存储至同一张热数据表中;
第二存储单元,用于在所述待处理数据被划分为冷数据时,将所述待处理数据存储至当前最新的所述冷数据表中。
可选地,在上述的数据的处理装置中,还包括:
判断单元,用于定时分别针对存储所述热数据的热数据表中的每个热数据,判断所述热数据的时间戳是否大于所述当前最新的冷热阈值;
转换单元,用于在所述判断单元判断出所述热数据的时间戳不大于所述当前最新的冷热阈值时,将所述热数据划分冷数据,并存储至冷数据表中。
本申请提供的一种数据的处理方法,通过获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳,然后基于所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系将待处理数据划分为冷热数据。不再是基于数据的访问频率划分冷热数据,所以对于没有访问频率的数据也可以进行划分,并且,若对比出待处理数据的时间戳大于当前最新的冷热阈值,则将待处理数据划分为热数据,若对比出待处理数据的时间戳不大于当前最新的冷热阈值,则将待处理数据划分为冷数据,从而产生的新数据会被划分为热数据,因此能有效地改善访问频率主要受时效性影响的数据的查询效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据的处理方法的流程示意图;
图2为本申请另一实施例提供的一种冷热阈值的自适应调整方法的流程示意图;
图3为本申请另一实施例提供的冷数据表的分表方法的流程示意图;
图4为本申请另一实施例提供的热数据转换为冷数据的方法的流程示意图;
图5为本申请另一实施例提供的一种数据的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数据的处理方法,如图1所示,包括:
S101、获取待处理数据、待处理数据的时间戳以及当前最新的冷热阈值,冷热阈值为设定的时间戳。
其中,待处理数据的时间戳指的是产生待处理数据时的时间戳,或者可以理解为待处理数据存储至数据库中时的时间戳。
首先需要说明的是,本身实施中获取的待处理数据主要指的是访问频率主要受时效性影响的数据,即数据生成的时间为影响数据访问频率的主要因素的数据。例如,金融领域中的订单数据,由于数据的时效性,新的订单数据对应的订单由于处于在处理阶段,所以访问频率往往比较,而生产时间较久的订单的数据,只有在进行订单统计等一些特定的情况下才会被方位,所以生成时间距离当前较近的订单数据的访问频率,通常都高于生成时间距离当前较久的订单数据的访问频率。
需要说明的是,在本申请实施例中,冷热阈值并不是一个固定值,而是在起初设置一个时间戳后,根据被访问数据的情况不断变化的。其中,可选地,可以将起初设置冷热阈值可以设置在配置文件中,在启动程序时从配置文件中加载该冷热阈值。
因为,起初设置的时间戳是根据经验设置的,并不能很好的划分冷热数据,所以通过不断调整冷热阈值,可以划分的冷热数据与数据的访问频率更加一致。并且,时间是不断先前推移的,也不断产生有新的待处理数据产生,所以不断地调整冷热阈值,可以避免热数据的数据量过大,保证数据的访问效率。所以需要获取的是当前最新的冷热阈值。
可选地,本申请另一实施例中提供了一种冷热阈值的自适应调整方法,如图2所示,包括:
S201、接收目标数据的查询请求。
其中,本申请实施例中,目标数据指的已被划分为热数据或者被划分为冷数据的已处理数据。
S202、确定目标数据的时间戳。
具体的,查找到目标数据的属性信息,并从目标数据的属性信息中提取出目标数据的时间戳。
需要说明的是,在执行步骤S202后对比目标数据的时间戳与当前最新的冷热阈值的大小关系。其中,若判断出目标数据的时间戳大于当前最新的冷热阈值,则执行步骤S205,若判断出目标数据的时间戳小于当前最新的冷热阈值,则执行步骤S206,若判断出目标数据的时间戳等于当前最新的冷热阈值,则不对当前最新的冷热阈值进行调整。
可选地,在本申请实施中,对比目标数据的时间戳与当前最新的冷热阈值的大小关系的一种实施方式,如下步骤S203和步骤S204所示。
S203、判断目标数据的时间戳是否大于当前最新的冷热阈值。
其中,若判断出目标数据的时间戳大于当前最新的冷热阈值,则执行步骤S205。若判断出目标数据的时间戳不大于当前最新的冷热阈值,则执行步骤S204。
S204、判断目标数据的时间戳是否小于当前最新的冷热阈值。
其中,判断出目标数据的时间戳小于当前最新的冷热阈值,则执行步骤S206。若判断出目标数据的时间戳也不小于当前最新的冷热阈值,则说明目标数据的时间戳等于当前最新的冷热阈值,此时则不需要对当前最新的冷热阈值进行调整。
需要说明的是,上述步骤S203~步骤S204仅是的其中一种实现对比目标数据的时间戳与当前最新的冷热阈值的大小关系的方式,其他实现对比目标数据的时间戳与当前最新的冷热阈值的大小关系的方式,都应属于本发明的保护范畴。
S205、将当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值。
因为,时间是不断先前推移的,新的待处理数据不断产生,所以当被访问的数据的时间戳都普遍大于当前最新的冷热阈值,则应该不断地增大冷热阈值,避免由于热数据的数据量过大,从而无法影响数据的访问效率,也便于后续随着时间的推移,不断地将时间戳较大的热数据划分为冷数据。
需要说明的是,预设单位量为一个较小的数值,从而可以慢慢地不断对冷热阈值进行调整。
S206、将当前的冷热阈值减去预设单位量的差值,设定为当前最新的冷热阈值。
因为,冷数据的访问频率是相对较低的,若出现时间戳小于当前最新的冷热阈值,则说明当前最新的冷热阈值可能过大了,造成本应该是热数据的待处理数据被划分为冷数据,所以需要将冷热阈值稍微上调,避免再出现这样的情况。
S102、判断待处理数据的时间戳是否大于当前最新的冷热阈值。
需要说明的是,步骤S102仅是“对比待处理数据的时间戳与当前最新的冷热阈值的大小关系”的一种具体的实施方式。也可以是采用其他的方式,例如可以是:判断待处理数据的时间戳是否小于或等于当前最新的冷热阈值。
其中,时间戳指格林威治时间1970年01月01日00时00分00秒起至一个时刻的总毫秒数。所以,时间戳越大则说明待处理数据产生的时间距离当前越近,而时间戳越小则说明待处理数据产生的时间距离当前越久。又因为产生的时间距离当前越近的待处理数据,通常最近一段时间内被访问的被访问的频率越高,所以在对比出待处理数据的时间戳大于当前最新的冷热阈值,则执行步骤S103,若对比出待处理数据的时间戳不大于当前最新的冷热阈值,则执行步骤S104。
S103、将待处理数据划分为热数据。
可选地,在执行步骤S103后,还可以进一步包括:将待处理数据存储至同一张热数据表中。
需要说明的是,由于热数据的数据量比较小,所以可以将所有的热数据都存储到一张热数据表中,从而便于系统的开发,并且也使得对于热数据的查询更加的快速。
S104、待处理数据划分为冷数据。
可选地,在执行步骤S104后,还可以进一步包括:将待处理数据存储至冷数据表中。
由于冷数据的数据量比较庞大,大量的数据存在一张表格中,对于冷数据的查询效率影响更大,所以通常将冷数据存储至多张冷数据表中。由于在数据量较少时,就预先创建多张冷数据表会造成资源的浪费,所以可选地,本申请另一实施中,具体是在一张冷数据表的数据量达到预设存储量后,再创建新的冷数据表,如图3所示,该方式具体包括:
S301、实时监测存储冷数据的冷数据表中的数据存储量。
可选地,由于在本申请实施例中,最新被划分为冷数据的待处理数据,将被存储到当前最新的冷数据表中,所以可以只对当前最新的冷数据表的数据存储量进行监测。
S302、判断监测到的冷数据表中的数据存储量是否大于预设存储量。
其中,若监测到冷数据表中的数据存储量大于预设存储量,则执行步骤S303。其中,如何确定冷数据的规模达到分表的程度,即如何配置预设存储量的大小,可以根据不同的数据库进行相应的设置。以当前应用最为广泛的Mysql数据库为例,在有索引前提下,通常数据量在100万以内不需要分表,超过100完则建议进行分表,所以可以将预设存储量设置为100万。
需要说明的是,预设存储量可以同初始的冷热阈值,预设单位量一样,配置在配置文件中,在启动程序前,从配置文件中读取。
S303、创建新的冷数据表。
S304、将数量为冷数据表中与预设存储量的差值的冷数据,从冷数据表移至新的冷数据表中。
也就是说,在本申请实施例中,允许冷数据表中的数据量短暂的超过预设存储量,当需要在创新的冷数据表后,及时将原先冷数据表中超量的冷数据移除到新的冷数据表中,因此可以在待处理数据被划分为冷数据后,直接存储到冷数据表中,不需要等待新的冷数据表的创建,从而可以继续进行待处理数据的划分。其中,从冷数据表中迁移超量的冷数据,具体可以是优先将时间戳比较大的冷数据表移至新的冷数据表中,以使得访问频率较高的冷数据存储在数据量较小的冷数据表中,进而在一定程度上提高了数据的查询效率。
需要说明的是,本申请实施例中的这种方式仅是其中一种可选地方式,也可以将在冷数据表中的数据存储量到达预设存储量后,就不再允许存储数据,并创建新的冷数据表。但是由于没有可用于存储冷数据的冷数据表,所以在新的冷数据表创造期间,无法继续进行待处理数据的划分。
可选地,基于图3对应的实施例,在待处理数据被划分为冷数据时,则将待处理数据存储至当前最新的所述冷数据表中。
由于时间是不断先前推移的,并且冷热阈值也是不断调整,所以为了保证当前的热数据与实际的访问频率是相一致的,所以可选地,在本申请的另一实施中,如图4所示,还包括如下步骤:
S401、定时分别针对存储热数据的热数据表中的每个热数据,判断该热数据的时间戳是否大于当前最新的冷热阈值。
可选地,可以通过编写相应的代码来实现每日定时批量的进行热数据向冷数据的转换。
需要说明的是,若判断出该热数据的时间戳不大于当前最新的冷热阈值,则执行步骤S402,若判断出该热数据的时间戳大于当前最新的冷热阈值,则该热数据依然保留在热数据表中。
S402、将该热数据划分冷数据,并存储至冷数据表中。
该热数据的时间戳不大于当前最新的冷热阈值,说明该热数据的已由热数据变为了冷数据,或者划分冷热数据时,由于冷热阈值还未处于一个合理的大小,所以该数据被无划分为了热数据,因此都需要从热数据转换为冷数据,并迁移至冷数据表中。
本申请实施例提供的一种数据的处理方法,通过获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳,然后基于所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系将待处理数据划分为冷热数据。不再是基于数据的访问频率进行划分冷热数据,所以对于没有访问频率的数据也可以进行划分,并且,若对比出待处理数据的时间戳大于当前最新的冷热阈值,则将待处理数据划分为热数据,若对比出待处理数据的时间戳不大于当前最新的冷热阈值,则将待处理数据划分为冷数据,从而使得新产生的数据会被划分为热数据,因此能有效地改善访问频率主要受时效性影响的数据的查询效率。
本申请的另一实施例提供了一种数据的处理装置,如图5所示,包括:
获取单元501,用于获取待处理数据、待处理数据的时间戳以及当前最新的冷热阈值。
其中,冷热阈值为设定的时间戳。
第一对比单元502,用于对比待处理数据的时间戳与当前最新的冷热阈值的大小关系。
第一划分单元503,用于在第一对比单元502对比出待处理数据的时间戳大于当前最新的冷热阈值时,将待处理数据划分为热数据。
第二划分单元504,用于在第一对比单元502对比出待处理数据的时间戳不大于当前最新的冷热阈值时,将待处理数据划分为冷数据。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S101~步骤S104,此处不再赘述。
可选地,在本申请的另一实施例中的数据的处理装置中,还包括:
接收单元,用于接收目标数据的查询请求。
确定单元,用于确定目标数据的时间戳。
第二对比单元,用于对比目标数据的时间戳与当前最新的冷热阈值的大小关系。
阈值设定单元,用于在第二对比单元判断出目标数据的时间戳大于当前最新的冷热阈值时,将当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值,以及在第二对比单元判断出目标数据的时间戳小于当前最新的冷热阈值,则将当前的冷热阈值减去预设单位量的差值,设定为当前最新的冷热阈值。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S201~步骤S206,此处不再赘述。
可选地,在本申请的另一实施例中的数据的处理装置中,还包括:
监测单元,用于实时监测存储冷数据的冷数据表中的数据存储量。
创建单元,用于在监测单元检测到冷数据表中的数据存储量大于预设存储量时,创建新的冷数据表。
迁移单元,用于将数量为冷数据表中与预设存储量的差值的冷数据,从冷数据表移至新的冷数据表中。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S301~步骤S304,此处不再赘述。
可选地,在本申请的另一实施例中的数据的处理装置中,还包括:
第一存储单元,用于在待处理数据被划分为热数据时,将待处理数据存储至同一张热数据表中。
第二存储单元,用于在待处理数据被划分为冷数据时,将待处理数据存储至当前最新的冷数据表中。
可选地,在本申请的另一实施例中的数据的处理装置中,还包括:
判断单元,用于定时分别针对存储热数据的热数据表中的每个热数据,判断热数据的时间戳是否大于当前最新的冷热阈值。
转换单元,用于在判断单元判断出热数据的时间戳不大于当前最新的冷热阈值时,将热数据划分冷数据,并存储至冷数据表中。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S401和步骤S402,此处不再赘述。
本申请提供的一种数据的处理装置,通过获取单元获取待处理数据、所述待处理数据的时间戳、以及当前最新的冷热阈值。其中,所述冷热阈值为设定的时间戳,然后基于所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系将待处理数据划分为冷热数据。不再是基于数据的访问频率划分冷热数据,所以对于没有访问频率的数据也可以进行划分,并且,若对比出待处理数据的时间戳大于当前最新的冷热阈值,则第一划分单元将待处理数据划分为热数据,若对比出待处理数据的时间戳不大于当前最新的冷热阈值,则第二划分单元将待处理数据划分为冷数据,从而产生的新数据会被划分为热数据,因此能很好的改善访问频率主要受时效性影响的数据的查询效率。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据的处理方法,其特征在于,包括:
获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳;
对比所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系;
若对比出所述待处理数据的时间戳大于所述当前最新的冷热阈值,则将所述待处理数据划分为热数据;
若对比出所述待处理数据的时间戳不大于所述当前最新的冷热阈值,则将所述待处理数据划分为冷数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
接收目标数据的查询请求;
确定所述目标数据的时间戳;
对比所述目标数据的时间戳与所述当前最新的冷热阈值的大小关系;
若判断出所述目标数据的时间戳大于所述当前最新的冷热阈值,则将所述当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值;
若判断出所述目标数据的时间戳小于所述当前最新的冷热阈值,则将所述当前的冷热阈值减去所述预设单位量的差值,设定为当前最新的冷热阈值。
3.根据权利要求1所述的方法,其特征在于,还包括:
实时监测存储所述冷数据的冷数据表中的数据存储量;
若检测到所述冷数据表中的数据存储量大于预设存储量,则创建新的冷数据表;
将数量为所述冷数据表中与所述预设存储量的差值的所述冷数据,从所述冷数据表移至所述新的冷数据表中。
4.根据权利要求3所述的方法,其特征在于,还包括:
若所述待处理数据被划分为热数据,则将所述待处理数据存储至同一张热数据表中;
若所述待处理数据被划分为冷数据,则将所述待处理数据存储至当前最新的所述冷数据表中。
5.根据权利要求1所述的方法,其特征在于,还包括:
定时分别针对存储所述热数据的热数据表中的每个热数据,判断所述热数据的时间戳是否大于所述当前最新的冷热阈值;
若判断出所述热数据的时间戳不大于所述当前最新的冷热阈值,则将所述热数据划分冷数据,并存储至冷数据表中。
6.一种数据的处理装置,其特征在于,包括:
获取单元,用于获取待处理数据、所述待处理数据的时间戳以及当前最新的冷热阈值;其中,所述冷热阈值为设定的时间戳;
第一对比单元,用于对比所述待处理数据的时间戳与所述当前最新的冷热阈值的大小关系;
第一划分单元,用于在所述第一对比单元对比出所述待处理数据的时间戳大于所述当前最新的冷热阈值时,将所述待处理数据划分为热数据;
第二划分单元,用于在所述第一对比单元对比出所述待处理数据的时间戳不大于所述当前最新的冷热阈值时,将所述待处理数据划分为冷数据。
7.根据权利要求6所述的装置,其特征在于,还包括:
接收单元,用于接收目标数据的查询请求;
确定单元,用于确定所述目标数据的时间戳;
第二对比单元,用于对比所述目标数据的时间戳与所述当前最新的冷热阈值的大小关系;
阈值设定单元,用于在所述第二对比单元判断出所述目标数据的时间戳大于所述当前最新的冷热阈值时,将所述当前最新的冷热阈值加上预设单位量的和,设定为当前最新的冷热阈值,以及在所述第二对比单元判断出所述目标数据的时间戳小于所述当前最新的冷热阈值,则将所述当前的冷热阈值减去所述预设单位量的差值,设定为当前最新的冷热阈值。
8.根据权利要求6所述的装置,其特征在于,还包括:
监测单元,用于实时监测存储所述冷数据的冷数据表中的数据存储量;
创建单元,用于在所述监测单元检测到所述冷数据表中的数据存储量大于预设存储量时,创建新的冷数据表;
迁移单元,用于将数量为所述冷数据表中与所述预设存储量的差值的所述冷数据,从所述冷数据表移至所述新的冷数据表中。
9.根据权利要求8所述的装置,其特征在于,还包括:
第一存储单元,用于在所述待处理数据被划分为热数据时,将所述待处理数据存储至同一张热数据表中;
第二存储单元,用于在所述待处理数据被划分为冷数据时,将所述待处理数据存储至当前最新的所述冷数据表中。
10.根据权利要求6所述的装置,其特征在于,还包括:
判断单元,用于定时分别针对存储所述热数据的热数据表中的每个热数据,判断所述热数据的时间戳是否大于所述当前最新的冷热阈值;
转换单元,用于在所述判断单元判断出所述热数据的时间戳不大于所述当前最新的冷热阈值时,将所述热数据划分冷数据,并存储至冷数据表中。
CN202010242719.1A 2020-03-31 2020-03-31 数据的处理方法及装置 Active CN111459939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242719.1A CN111459939B (zh) 2020-03-31 2020-03-31 数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242719.1A CN111459939B (zh) 2020-03-31 2020-03-31 数据的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111459939A true CN111459939A (zh) 2020-07-28
CN111459939B CN111459939B (zh) 2023-09-19

Family

ID=71685150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242719.1A Active CN111459939B (zh) 2020-03-31 2020-03-31 数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111459939B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380217A (zh) * 2020-11-17 2021-02-19 安徽鸿程光电有限公司 数据处理方法、装置、设备及介质
CN112988040A (zh) * 2019-12-18 2021-06-18 深圳大普微电子科技有限公司 一种数据存储方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363553A (zh) * 2018-01-31 2018-08-03 北京兰云科技有限公司 一种数据处理方法、装置及系统
CN110134723A (zh) * 2019-05-22 2019-08-16 网易(杭州)网络有限公司 一种存储数据的方法和数据库
CN110543279A (zh) * 2018-05-29 2019-12-06 杭州海康威视数字技术股份有限公司 一种数据存储、处理方法、装置及系统
CN110858210A (zh) * 2018-08-17 2020-03-03 阿里巴巴集团控股有限公司 数据查询方法及装置
CN110865992A (zh) * 2019-10-30 2020-03-06 腾讯云计算(北京)有限责任公司 一种检索库管理方法、检索方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363553A (zh) * 2018-01-31 2018-08-03 北京兰云科技有限公司 一种数据处理方法、装置及系统
CN110543279A (zh) * 2018-05-29 2019-12-06 杭州海康威视数字技术股份有限公司 一种数据存储、处理方法、装置及系统
CN110858210A (zh) * 2018-08-17 2020-03-03 阿里巴巴集团控股有限公司 数据查询方法及装置
CN110134723A (zh) * 2019-05-22 2019-08-16 网易(杭州)网络有限公司 一种存储数据的方法和数据库
CN110865992A (zh) * 2019-10-30 2020-03-06 腾讯云计算(北京)有限责任公司 一种检索库管理方法、检索方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988040A (zh) * 2019-12-18 2021-06-18 深圳大普微电子科技有限公司 一种数据存储方法、装置、设备及可读存储介质
CN112988040B (zh) * 2019-12-18 2023-02-24 深圳大普微电子科技有限公司 一种数据存储方法、装置、设备及可读存储介质
CN112380217A (zh) * 2020-11-17 2021-02-19 安徽鸿程光电有限公司 数据处理方法、装置、设备及介质
CN112380217B (zh) * 2020-11-17 2024-04-12 安徽鸿程光电有限公司 数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111459939B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110674108A (zh) 数据处理方法及装置
CN111459939A (zh) 数据的处理方法及装置
CN102236674B (zh) 一种索引页更新方法及装置
CN111061758B (zh) 数据存储方法、装置及存储介质
CN111767297B (zh) 大数据处理方法、装置、设备及介质
CN111061681A (zh) 一种基于大小写不敏感的目录分片方法、装置及存储介质
CN111076807B (zh) 振动信号的处理方法、装置、设备及可读介质
EP3522040A1 (en) Method and device for file storage
CN111694505B (zh) 数据存储管理方法、装置和计算机可读存储介质
CN111459913A (zh) 分布式数据库的容量扩展方法、装置及电子设备
CN106874457B (zh) 一种通过虚拟目录来提升元数据集群性能的方法
EP4216073A1 (en) Data management method, data management apparatus, and storage medium
CN107908555A (zh) 一种sql脚本的异常检测方法及其终端
CN113411224A (zh) 数据处理方法、装置、电子设备及存储介质
CN110704489A (zh) 一种数据库的查询方法、装置、设备及计算机存储介质
CN114285032B (zh) 配电网线路负荷峰值预测方法、装置、计算机设备及介质
CN111143288A (zh) 一种数据存储方法、系统及相关装置
CN109739883A (zh) 提升数据查询性能的方法、装置和电子设备
CN111158590B (zh) 一种解决哈希冲突的方法和设备
CN112487039B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN113268487B (zh) 数据统计方法、装置及计算机可读存储介质
CN117112529A (zh) 一种数据管理方法、装置、计算机设备和存储介质
CN113672562B (zh) 数据删除方法、装置、设备和存储介质
CN113312421A (zh) 工程造价系统中业务处理方法及系统
CN114518849B (zh) 一种数据存储方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant