CN109657009A - 数据预分区存储周期表创建方法、装置、设备和存储介质 - Google Patents

数据预分区存储周期表创建方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109657009A
CN109657009A CN201811573968.8A CN201811573968A CN109657009A CN 109657009 A CN109657009 A CN 109657009A CN 201811573968 A CN201811573968 A CN 201811573968A CN 109657009 A CN109657009 A CN 109657009A
Authority
CN
China
Prior art keywords
data
subregion
creation
period
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811573968.8A
Other languages
English (en)
Other versions
CN109657009B (zh
Inventor
张志远
李艳红
石志中
张俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811573968.8A priority Critical patent/CN109657009B/zh
Publication of CN109657009A publication Critical patent/CN109657009A/zh
Application granted granted Critical
Publication of CN109657009B publication Critical patent/CN109657009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储预分区周期表创建方法、装置、设备和存储介质,一种数据存储预分区周期表创建方法包括:配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数,根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件,根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。本发明公开的数据存储预分区周期表创建方法、装置、设备和存储介质,用于提高数据存储系统的性能和稳定性。

Description

数据预分区存储周期表创建方法、装置、设备和存储介质
技术领域
本发明实施例涉及计算机技术,尤其涉及一种数据预分区存储周期表创建方法、装置、设备和存储介质。
背景技术
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库,主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力,对大数据提供随机、实时的读写访问功能。
HBase的数据分片按表进行,以行为粒度,基于主键(RowKey)范围进行拆分,每个分片称为一个区域(Region),包含所有行的一个子集,保存一个表里面的某段连续的数据。一个集群有多张表,每张表划分为多个Region,每台服务器服务很多Region。Region是HBase中分布式存储和负载均衡的最小单元,
面对大数据平台产生的海量日志数据,一般采用分表处理,按照周期表的管理方式,例如每月建立一张新表,存储对应日期范围内产生的数据。因为HBase表按照区域进行分布式存储和负载均衡,所以需要提前创建表分区,称之为预分区。如果采用固定的预分区文件创建新表,随着时间不断地推移,数据是不断地增长的,并且分布规律也会发生变化,可能导致已经分好的区域已经装不住更多的数据,同时会进一步进行分裂(Split),分裂时会消耗宝贵的集群I/O资源,为了减少性能损耗问题,需要持续观察数据并定期维护,采取人工手动运维方式,不仅费时费力,还可能因为处理不及时给系统的稳定性带来巨大的风险。
发明内容
本发明提供一种数据存储预分区周期表创建方法、装置、设备和存储介质,以提高数据存储系统的性能和稳定性。
第一方面,本发明实施例提供一种数据存储预分区周期表创建方法,包括:
配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数;
根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件;
根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
在第一方面一种可能的实现方式中,所述根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件,包括:
根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表;
根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
在第一方面一种可能的实现方式中,所述根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表,包括:
在第一次创建数据存储预分区周期表是,使用预设的表初始预分区文件作为所述采样表。
在第一方面一种可能的实现方式中,所述根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件,包括:
按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;
根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;
对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。
在第一方面一种可能的实现方式中,所述根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表,包括:
根据创建需求,在所述表预分区文件中添加所述扩展参数,得到所述数据存储预分区周期表,所述扩展参数包括列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数中的至少一种。
第二方面,本发明实施例还提供了一种数据存储预分区周期表创建装置,包括:
参数配置模块,用于配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数;
文件创建模块,用于根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件;
表创建模块,用于根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
在第二方面一种可能的实现方式中,所述文件创建模块,具体用于根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表;根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
在第二方面一种可能的实现方式中,所述文件创建模块,具体用于按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。
在第二方面一种可能的实现方式中,所述表创建模块,具体用于根据创建需求,在所述表预分区文件中添加所述扩展参数,得到所述数据存储预分区周期表,所述扩展参数包括列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数中的至少一种。
第三方面,本发明实施例还提供了一种数据存储预分区周期表创建设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面任一种可能的实现方式的数据存储预分区周期表创建方法
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如第一方面任一种可能的实现方式的数据存储预分区周期表创建方法。
本发明实施例提供的数据存储预分区周期表创建方法、装置、设备和存储介质,首先配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数,然后根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件,最后根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表,这种方式使新创建的表尽可能符合数据增长规律,在数据随时间推移而变化时,也不会产生数据量过大的高负载热点区域,或者数据量很小甚至为空的低负载区域,让数据区域分布均衡,集群服务器负载均衡,从而提高集群的性能和稳定性,同时通过任务调度自动优化,避免人工手动运维,降低运营维护成本。
附图说明
图1为本发明实施例提供的数据存储预分区周期表创建方法实施例一的流程图;
图2为本发明实施例提供的数据存储预分区周期表创建方法实施例二的流程图;
图3为本发明实施例提供的数据存储预分区周期表创建装置实施例一的结构示意图;
图4为本发明实施例提供的数据存储预分区周期表创建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的数据存储预分区周期表创建方法实施例一的流程图,如图1所示,本实施例提供的数据存储预分区周期表创建方法包括:
步骤S101,配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数。
本实施例提供的数据存储预分区周期表创建方法可以应用于HBase系统的数据存储。由于HBase的数据分表按表进行,传统的HBase表采用固定的预分区文件创建新的预分区歧周期表,但随着时间不断地推移,数据是不断地增长的,并且分布规律也会发生变化,就会带来以下问题:(1)已经分好的区域,或许已经装不住更多的数据,存在写热点问题,同时会进一步进行分裂,分裂时会消耗宝贵的集群I/O资源。(2)已有的预分区规则不适用现在的数据分布特征,很多区域出现没有数据或者数据量很小,会增加集群的管理代价,同时因数据区域分布不均衡也会降低集群的性能。(3)为了减少性能损耗问题,需要持续观察数据并定期维护,采取人工手动运维方式,不仅费时费力,还可能因为处理不及时给系统的稳定性带来巨大的风险。
为了解决上述问题,本实施例提供一种动态创建数据存储预分期周期表的方法,使新创建的表尽可能符合数据增长规律,在数据随时间推移而变化时,也不会产生数据量过大的高负载热点区域,或者数据量很小甚至为空的低负载区域,避免手工运维干预,提高集群的性能和稳定性。
首先,需要配置待创建数据存储预分区周期表的配置参数,所述参数信息包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数。其中,表名称规则一般由包含日期格式的字符串组成,例如:yyyy代表年,MM代表年中的月份,dd代表月份中的天数。表创建周期描述如何进行分表,可选择按年、月、周、固定天数等方式。面对存储海量数据的时候,需要进行分表处理,例如每月建立一张表,存储对应日期区间产生的数据,以便提高数据管理的效率。表区域分裂阈值与合并阈值用于在动态生成表预分区文件时,根据计算的表区域空间大小,评估是否需要对区域进行分裂或者合并。扩展参数包括列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数等,用于在动态创建表时,更精确地描述表的功能特性。
所述配置参数可以存储于配置文件中,存储位置可以是本地文件系统,或者网络文件系统,以及其他配置管理系统。文件格式可以可扩展标记语言(eXtensible MarkupLanguage,XML)、另一种标记语言(Yet Another Markup Language,YAML)等不同的内容格式。
步骤S102,根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件。
依据表名称规则和表创建周期,可以确定表的基本框架,一般地,还需要一个已经存在的表作为采样表,根据表名称规则和表创建周期,可以在多个采样表中确定所需使用的采样表。然后根据表区域分裂阈值与合并阈值对采样表中的区域是否需要分裂或合并进行调整,从而得到表预分区文件。由于现有技术中,主要是由于表中各区域的大小分配与存储的数据大小不匹配而会产生各种问题,因此,在本实施例中,采用表区域分裂阈值与合并阈值对各区域进行分裂或合并调整,从而可以使创建的新的数据存储预分区周期表满足新的数据的存储需求。
进一步地,创建表预分区文件的过程可以包括:首先根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表,依据表名称规则和创建周期,将最近一个周期表作为采样表,判断采样表是否存在,如果存在就依据采样表动态计算并生成表预分区文件,否则使用预设的表初始预分区文件作为所述采样表。然后再根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
在本发明实施例提供的数据存储预分区周期表创建中,最重要的步骤就是对区域进行分裂或合并的处理。具体包括:按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。对区域进行分裂或合并的具体处理流程将在后续实施例中进行进一步详细说明。
步骤S103,根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
步骤S102中创建的表预分区文件由于是根据表区域分裂阈值与合并阈值对区域大小进行分裂或合并调整的,因此创建的表预分区文件可以满足数据存储需求。然后再根据配置参数中的扩展参数,对表预分区文件进行进一步地扩展,最后实现数据存储预分区周期表的动态创建。具体地,首先根据表名称规则和创建周期,获取待创建的表名称,依据上述步骤生成的表预分区文件,以及扩展参数如表列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数等参数信息,创建新表并上线提供存储访问服务。
本实施例提供的数据存储预分区周期表创建方法,首先配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数,然后根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件,最后根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表,这种方式使新创建的表尽可能符合数据增长规律,在数据随时间推移而变化时,也不会产生数据量过大的高负载热点区域,或者数据量很小甚至为空的低负载区域,让数据区域分布均衡,集群服务器负载均衡,从而提高集群的性能和稳定性,同时通过任务调度自动优化,避免人工手动运维,降低运营维护成本。
图2为本发明实施例提供的数据存储预分区周期表创建方法实施例二的流程图,如图2所示,本实施例提供的数据存储预分区周期表创建方法包括:
步骤S201、按区域循环遍历采样表的数据文件,计算每个区域的存储空间大小,放在映射表1中。
其中采样表的数据文件(HFile)是HBase存储数据的文件组织形式,分成数据块、元数据块、索引块以及文件尾描述四部分。每个HBase表包含多个区域,每个区域对应多个HFile文件,在区域的分裂和合并过程中,HFile也会相应的进行拆分和归并,可以通过遍历统计区域下的所有HFile文件大小来计算区域物理存储空间。
步骤S202、通过管理节点(HMaster)顺序获取每个区域的开始主键和结束主键,结合映射表1,获取区域对应的存储大小。
其中有两个重要的属性,开始主键(StartKey)与结束主键(EndKey)是HBase中的两个重要属性,表示这个Region维护的RowKey范围,当需要读/写数据时,如果RowKey落在某个开始/结束主键范围内,那么就会确定到目标Region,然后读/写到相关的数据。
步骤S203、判断区域大小是否超出分裂阈值。如果当前区域超出预设分裂阈值,则执行步骤S204,否则执行步骤S205。
步骤S204、分裂区域,计算区域的中间主键,输出到表分区列表中,并重置累计值。当区域大小超出预设分裂阈值时,为了避免此区域将来数据量进一步增加,避免成为热点区域而影响性能,需要进行分裂,然后将分裂信息输出到表分区列表中,重置累计值,跳转到步骤S202继续处理下一个区域。
步骤S205、累计连续区域存储大小。
步骤S206、判断累计值是否超出合并阈值。如果超出预设合并阈值,则执行步骤S207,否则跳转到步骤S202继续处理下一个区域。
步骤S207、合并区域,计算合并后的开始主键和结束主键,输出到表分区列表中,并重置累计值。对于数据量很小甚至为空的连续区域,需要进行合并,以便能够降低集群的管理负担,并让集群各节点尽量以负载均衡方式承担压力,提高集群性能。
步骤S208、判断表所有区域是否处理完毕?如果表的所有区域都处理完毕,则执行步骤S209,否则跳转到步骤S202继续处理下一个区域。
步骤S209、顺序读取表分区列表,输出到表预分区文件。当采样表的所有区域都进行了分裂或合并规则评估后,将优化后的表分区信息输出到预分区文件中,用于动态创建新表。
图3为本发明实施例提供的数据存储预分区周期表创建装置实施例一的结构示意图,如图3所示,本实施例提供的数据存储预分区周期表创建装置包括:
参数配置模块31,用于配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数。
文件创建模块32,用于根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件。
表创建模块33,用于根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
本实施例提供的数据存储预分区周期表创建装置用于实现图1所示数据存储预分区周期表创建方法的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步地,在图3所示实施例的基础上,所述文件创建模块32,具体用于根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表;根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
进一步地,在图3所示实施例的基础上,所述文件创建模块32,具体用于按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。
进一步地,在图3所示实施例的基础上,所述表创建模块33,具体用于根据创建需求,在所述表预分区文件中添加所述扩展参数,得到所述数据存储预分区周期表,所述扩展参数包括列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数中的至少一种。
图4为本发明实施例提供的数据存储预分区周期表创建设备的结构示意图,如图4所示,该数据存储预分区周期表创建设备包括处理器41和存储器42;数据存储预分区周期表创建设备中处理器41的数量可以是一个或多个,图4中以一个处理器41为例;数据存储预分区周期表创建设备中的处理器41和存储器42可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请图1实施例中的数据存储预分区周期表创建方法对应的程序指令/模块(例如,数据存储预分区周期表创建装置中的参数配置模块31、文件创建模块32、表创建模块33)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块,从而数据存储预分区周期表创建设备的各种功能应用以及数据处理,即实现上述的数据存储预分区周期表创建方法。
存储器42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据数据存储预分区周期表创建设备的使用所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种数据存储预分区周期表创建方法,该方法包括:
配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数;
根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件;
根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据存储预分区周期表创建装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储预分区周期表创建方法,其特征在于,包括:
配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数;
根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件;
根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
2.根据权利要求1所述的方法,其特征在于,所述根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件,包括:
根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表;
根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
3.根据权利要求2所述的方法,其特征在于,所述根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表,包括:
在第一次创建数据存储预分区周期表是,使用预设的表初始预分区文件作为所述采样表。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件,包括:
按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;
根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;
对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。
5.根据权利要求1~3任一项所述的方法,其特征在于,所述根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表,包括:
根据创建需求,在所述表预分区文件中添加所述扩展参数,得到所述数据存储预分区周期表,所述扩展参数包括列族、压缩算法、数据块缓存属性、数据块大小、保存的版本数、最小存储版本数中的至少一种。
6.一种数据存储预分区周期表创建装置,其特征在于,包括:
参数配置模块,用于配置待创建数据存储预分区周期表的配置参数,所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数;
文件创建模块,用于根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件;
表创建模块,用于根据所述表预分区文件和所述扩展参数,动态创建数据存储预分区周期表。
7.根据权利要求6所述的装置,其特征在于,所述文件创建模块,具体用于根据所述表的配置参数中的表名称规则和表创建周期,获取以上一周期的数据存储预分区周期表作为采样表;根据所述表创建周期和表区域分裂阈值与合并阈值,动态计算调整所述采样表,得到所述表预分区文件。
8.根据权利要求7所述的装置,其特征在于,所述文件创建模块,具体用于按区域循环遍历所述采样表的数据文件,计算每个区域的存储空间大小;根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值;对存储空间大小是否超过所述分裂阈值或所述合并阈值的区域进行分裂或合并处理,得到所述表预分区文件。
9.一种数据存储预分区周期表创建设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~5中任一所述的数据存储预分区周期表创建方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~5中任一所述的数据存储预分区周期表创建方法。
CN201811573968.8A 2018-12-21 2018-12-21 数据预分区存储周期表创建方法、装置、设备和存储介质 Active CN109657009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811573968.8A CN109657009B (zh) 2018-12-21 2018-12-21 数据预分区存储周期表创建方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811573968.8A CN109657009B (zh) 2018-12-21 2018-12-21 数据预分区存储周期表创建方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109657009A true CN109657009A (zh) 2019-04-19
CN109657009B CN109657009B (zh) 2021-03-12

Family

ID=66115596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811573968.8A Active CN109657009B (zh) 2018-12-21 2018-12-21 数据预分区存储周期表创建方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109657009B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795431A (zh) * 2019-10-28 2020-02-14 天津同阳科技发展有限公司 环境监测数据处理方法、装置、设备及存储介质
CN113312353A (zh) * 2021-06-10 2021-08-27 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及系统
CN113625938A (zh) * 2020-05-06 2021-11-09 华为技术有限公司 一种元数据存储方法及其设备
CN113778657A (zh) * 2020-09-24 2021-12-10 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN114968748A (zh) * 2022-07-29 2022-08-30 北京奥星贝斯科技有限公司 一种数据库测试方法、系统及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154339A1 (en) * 2009-12-17 2011-06-23 Electronics And Telecommunications Research Institute Incremental mapreduce-based distributed parallel processing system and method for processing stream data
CN102725753B (zh) * 2011-11-28 2014-01-01 华为技术有限公司 优化数据访问的方法及装置、优化数据存储的方法及装置
CN103617211A (zh) * 2013-11-20 2014-03-05 浪潮电子信息产业股份有限公司 一种HBase加载数据的导入方法
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法
CN104199901A (zh) * 2014-08-27 2014-12-10 浪潮集团有限公司 一种批量合并hbase表regions的方法
CN105653592A (zh) * 2016-01-28 2016-06-08 浪潮软件集团有限公司 一种基于hdfs的小文件合并工具和方法
CN106055678A (zh) * 2016-06-07 2016-10-26 国网河南省电力公司电力科学研究院 一种基于hadoop的全景大数据分布式存储方法
CN106844556A (zh) * 2016-12-30 2017-06-13 江苏瑞中数据股份有限公司 一种基于HBase的智能电网时标量测数据存储方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154339A1 (en) * 2009-12-17 2011-06-23 Electronics And Telecommunications Research Institute Incremental mapreduce-based distributed parallel processing system and method for processing stream data
CN102725753B (zh) * 2011-11-28 2014-01-01 华为技术有限公司 优化数据访问的方法及装置、优化数据存储的方法及装置
CN103617211A (zh) * 2013-11-20 2014-03-05 浪潮电子信息产业股份有限公司 一种HBase加载数据的导入方法
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法
CN104199901A (zh) * 2014-08-27 2014-12-10 浪潮集团有限公司 一种批量合并hbase表regions的方法
CN105653592A (zh) * 2016-01-28 2016-06-08 浪潮软件集团有限公司 一种基于hdfs的小文件合并工具和方法
CN106055678A (zh) * 2016-06-07 2016-10-26 国网河南省电力公司电力科学研究院 一种基于hadoop的全景大数据分布式存储方法
CN106844556A (zh) * 2016-12-30 2017-06-13 江苏瑞中数据股份有限公司 一种基于HBase的智能电网时标量测数据存储方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795431A (zh) * 2019-10-28 2020-02-14 天津同阳科技发展有限公司 环境监测数据处理方法、装置、设备及存储介质
CN110795431B (zh) * 2019-10-28 2020-12-01 天津同阳科技发展有限公司 环境监测数据处理方法、装置、设备及存储介质
CN113625938A (zh) * 2020-05-06 2021-11-09 华为技术有限公司 一种元数据存储方法及其设备
CN113778657A (zh) * 2020-09-24 2021-12-10 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN113778657B (zh) * 2020-09-24 2024-04-16 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN113312353A (zh) * 2021-06-10 2021-08-27 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及系统
CN113312353B (zh) * 2021-06-10 2024-06-04 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及系统
CN114968748A (zh) * 2022-07-29 2022-08-30 北京奥星贝斯科技有限公司 一种数据库测试方法、系统及装置
CN114968748B (zh) * 2022-07-29 2022-10-21 北京奥星贝斯科技有限公司 一种数据库测试方法、系统及装置

Also Published As

Publication number Publication date
CN109657009B (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN109657009A (zh) 数据预分区存储周期表创建方法、装置、设备和存储介质
US11888702B2 (en) Intelligent analytic cloud provisioning
CN105468473B (zh) 数据迁移方法及数据迁移装置
US20180198855A1 (en) Method and apparatus for scheduling calculation tasks among clusters
CN104615606B (zh) 一种Hadoop分布式文件系统及其管理方法
GB2508161A (en) Monitoring applications executing on a virtual machine and allocating the required resources to the virtual machine.
US20100011002A1 (en) Model-Based Resource Allocation
JP2007011548A (ja) データ集合分割プログラム、データ集合分割装置、およびデータ集合分割方法
CN108363553A (zh) 一种数据处理方法、装置及系统
JP2015090615A (ja) データを管理するシステムおよび方法
CN105608228B (zh) 一种高效的分布式的rdf数据存储方法
CN105138679B (zh) 一种基于分布式缓存的数据处理系统及处理方法
CN109213761A (zh) 一种自由扩展免迁移的分库分表方法
CN111782134B (zh) 数据处理方法、装置、系统和计算机可读存储介质
CN103631931A (zh) 一种数据分级存储方法及系统
US20230267015A1 (en) Resource scheduling method and apparatus, electronic device and computer readable storage medium
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
Yang Does hybrid LCA with a complete system boundary yield adequate results for product promotion?
JP2019164705A (ja) 情報処理装置
CN104035807B (zh) 一种云存储系统的元数据缓存替换方法
CN102158533A (zh) 基于QoS的分布式web服务选择方法
CN104598554B (zh) 网页页面加载方法及装置
CN104794237B (zh) 网页信息处理方法及装置
CN106161516A (zh) 用于存储数据的方法、装置以及系统
CN112486664A (zh) 一种节点扩容方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant