CN109299115A - 一种数据存储方法、装置、服务器及存储介质 - Google Patents

一种数据存储方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN109299115A
CN109299115A CN201811452319.2A CN201811452319A CN109299115A CN 109299115 A CN109299115 A CN 109299115A CN 201811452319 A CN201811452319 A CN 201811452319A CN 109299115 A CN109299115 A CN 109299115A
Authority
CN
China
Prior art keywords
data
subregion
business datum
tables
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811452319.2A
Other languages
English (en)
Inventor
万月亮
王婷婷
火莽
火一莽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811452319.2A priority Critical patent/CN109299115A/zh
Publication of CN109299115A publication Critical patent/CN109299115A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储方法、装置、服务器及存储介质。该方法包括:获取业务数据;根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案,以实现提高业务数据分区存储的灵活性。

Description

一种数据存储方法、装置、服务器及存储介质
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种数据存储方法、装置、服务器及存储介质。
背景技术
随着数据库和信息技术的飞速发展,关系数据库在互联网企业级市场中占据了主导地位,对关系数据库已经开发出各种数据管理系统来对数据进行有效地存储,随着业务的不断扩展,线上存储的数据越来越多,对于不重要的业务数据会另外建立单独的数据表进行归档,如何合理的存储大量的业务数据并有效地将不重要的业务数据从当前的数据表中移除,是困扰数据库维护的一个大难题。
目前的数据存储方法通常是按照日期或范围等策略对业务数据分别存储,并且将历史数据移除,只保留较新的业务数据,不能全面考虑业务数据的重要性,数据管理的方式单一,无法灵活地对业务数据进行分区存储或移除。
发明内容
本发明提供了一种数据存储方法、装置、服务器及存储介质,以实现提高业务数据分区存储的灵活性。
第一方面,本发明实施例提供了一种方法,包括:
获取业务数据;
根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;
根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
进一步的,在所述将所述业务数据存储至数据表中对应的分区之后,还包括:
创建数据表的索引,所述索引包括计数器;
通过所述计数器记录各分区中所述业务数据的读取次数;
根据各分区的业务数据的读取次数计算各分区的权重值。
进一步的,所述根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除,包括:
将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾,所述数据归档表的数据结构与所述数据表的数据结构一致。
进一步的,在所述将权重值小于等于权重阈值的分区中的业务数据迁移至所述数据归档表对应的分区之后,还包括:
若数据库当前的日志模式为归档模式,则确定数据表的日志记录类型;
根据所述日志记录类型对数据表生成迁移记录日志。
进一步的,其特征在于,还包括:
定时增加数据表的分区并更新各分区的权重。
第二方面,本发明实施例提供了一种数据存储装置,包括:
数据获取模块,用于获取业务数据;
分区存储模块,用于根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;
数据移除模块,用于根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
进一步的,所述装置还包括:
索引创建模块,用于创建数据表的索引,所述索引包括计数器;
计数模块,用于通过所述计数器记录各分区中所述业务数据的读取次数;
权重计算模块,用于根据各分区的业务数据的读取次数计算各分区的权重值。
进一步的,所述装置还包括:
记录类型确定模块,用于若数据库当前的日志模式为归档模式,则确定数据表的日志记录类型;
日志生成模块,用于根据所述日志记录类型对数据表生成迁移记录日志。
第三方面,本发明实施例提供了一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的数据存储方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的数据存储方法。
本发明实施例提供了一种数据存储方法、装置、服务器及存储介质,该方法包括:获取业务数据;根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案,以实现提高业务数据分区存储的灵活性。
附图说明
图1为本发明实施例一提供的一种数据存储方法的流程图;
图2为本发明实施例一提供的数据存储方法应用场景的示意图;
图3为本发明实施例二提供的一种数据存储方法的流程图;
图4为本发明实施例三提供的一种数据存储装置的结构示意图;
图5为本发明实施例四提供的一种服务器的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据存储方法的流程图,本实施例可适用于对业务数据分区存储和归档的情况。具体的,该数据存储方法可以由数据存储装置执行,该数据存储装置可以通过软件和/或硬件的方式实现,并集成在服务器中。进一步的,服务器包括但不限定于:工业集成服务器、系统后台服务器以及云端服务器。
图2为本发明实施例一提供的数据存储方法应用场景的示意图。如图2所示,服务器可通过网络传输、客户端上传、传感器监测等方式获取不同的业务数据,按照数据来源、数据类型等分别存储至关系型数据库中。关系型数据库是建立在关系模型基础上的数据库,其借助于集合代数等数学概念和方法来处理数据库中的数据,适用于存储和管理大量的业务数据,并以结构化查询语言作为关系型数据库语言。其中,Oracle数据库具有高效率、高可靠性的特点,本实施例将获取到的业务数据分区存储至Oracle的数据表中,并定期将部分业务数据移除或迁移至历史数据归档表。
参考图1,该方法具体包括如下步骤:
S110、获取业务数据。
具体的,业务数据是指海量的企业信息数据,如交易数据、流水数据、业绩数据等,通常情况下业务数据是面向某一业务主题的数据的集合,规模庞大,这些数据从多个业务系统中抽取而来,并且也可能包含了历史数据。业务数据可由各类传感器监测获得,或者通过各类客户端(Web、App等)上传、通过网络传输获得,具有不同的数据类型和数据内容。
S120、根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区。
具体的,数据类型包括整数类型、精确数值型(固定精度和范围的数值)、近似数值型(浮点数)、日期时间型、字符型等;针对不同的业务会产生具体的数据内容,例如,对于交易业务,数据内容包括交易日期、交易金额、预算值等,对于绩效统计业务,数据内容包括绩效值、服务类型等。数据库的数据表按照数据类型和数据内容划分成不同的存储区域,根据所述业务数据的数据类型和数据内容,可将业务数据存储至数据表中对应的分区内。
进一步的,在将业务数据存储至数据表之前,在数据库中根据一定的分区策略创建分区表,用以划分存储区域。数据表的分区策略包括:范围分区策略、列表分区策略、散列分区策略及组合策略,其中,范围分区策略是指根据数据表中某一字段值的范围来进行分区,例如,对于绩效值,按照小于等于60、大于60且小于80、大于等于80的数值范围进行分区,也可以是按照时间范围分区,例如,按照日期将每天的业务数据分别存储在对应日期的分区中;散列分区是根据字段的哈希(Hash)值将业务数据均匀分布,即尽可能的实现各分区所散列的业务数据数量相等;列表分区明确指定根据某字段的某个具体值进行分区,例如按照年龄进行分区,同一年龄的人的数据存储在同一个分区内;组合策略是指范围分区策略、列表分区策略、散列分区策略的组合,例如,在按照日期分区的前提下,对一个日期里的数据又按照数值范围来分区,也可以在一个日期、一个数值范围内进一步按照某字段的具体值进行列表分区,当分区策略为组合策略时,预先设置不同分区策略的优先级,例如,上述实例中,将按照日期分区作为一级策略,将按照数值范围分期作为二级策略,将列表分区作为三级策略。
示例性的,根据时间范围(日期)进行分区时,首先创建分区表,脚本代码如下:
其中,指定将create_time字段按照日期进行分区,p20180101、p20180102为分区名。
进一步的,分区是预先创建的,例如预先创建60天的分区,在数据存储的过程中可通过设置定时任务,定期自动增加分区,以使新获取到的业务数据存储至对应的位置。
S130、根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
具体的,数据表中的每一个分区具有各自的权重,并且有预设的权重阈值用以衡量各分区的重要程度。在海量的业务数据中,有部分重要的数据需要频繁地读取或查询、对业务数据的统计和分析具有重要意义,这类数据分区存储在数据表中,便于实时读取,对应的分区的权重值大于权重阈值;还有部分数据的时效性较差、读取频率较低,或者是数据无效、数值范围不满足实际需求等,对于这类数据,对应的分区的权重值小于或等于权重阈值,定期将其从数据表中移除,以优化数据表的存储空间,便于提高数据查询效率。
进一步的,在创建分区表以划分存储区域时,为数据表的各分区设置初始权重,例如,对于最新日期的存储的分区,初始权重值设置为1,距离最新日期的时间越长的分区,权重越小;又如对于根据组合策略创建的某一分区,根据日期设置了其初始权重为A,同时根据数值的大小(如成绩为大于等于80)设置了其权重为B,则可利用加权计算的方式得到该分区的综合权重,如日期占30%,成绩占70%,则该分区的综合权重为A*30%+B*70%;又如,记录各分区的数据被读取的频率,对于读取频率较高的分区,提高其权重值,对于读取频率较低的分区,降低其权重值。权重值可根据数据表的分区策略,在创建分区表时从不同角度综合设定,也可以根据业务数据被读取的频繁程度更新,将权重值小于等于权重阈值的分区中的业务数据移除。
本发明实施例一提供的一种数据存储方法,包括:获取业务数据;根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案,根据不同的分区策略将业务数据分区存储,并根据各分区的权重值移除部分业务数据,以实现提高业务数据分区存储的灵活性。
实施例二
图3为本发明实施例二提供的一种数据存储方法的流程图,本实施例是在上述实施例的基础上,进行具体优化。具体的,参考图3,该方法具体包括如下步骤:
S210、获取业务数据。
需要说明的是,未在本实施例中详尽描述的技术细节可参见上述任意实施例。
S220、根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区。
S230、创建数据表的索引,所述索引包括计数器;
具体的,在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,其作用相当于目录,根据目录可以快速查询到对应的内容。在将业务数据存储至数据表对应的分区后,创建索引,其中,索引包括索引关键字(IndexKey)、行标识符(RID)和计数器,行标识符用于指示业务数据的实际物理存储位置。根据数据表的分区,分别为每个分区的索引项设置一个计数器,用于记录该分区的业务数据被读取的次数。例如,在每个分区的第一个行标识符对应的索引项中增加计数器,当该分区被查询时,计数器记录的次数加1,根据计数器记录的读取次数判断一段时间内哪些分区的业务数据被读取的频率高。
进一步的,创建的索引为单一索引,即新建索引的语句只实施在数据表的一列上,避免创建复合索引。通过根据不同的分区策略对业务数据进行存储,并创建单一索引,使数据表有清晰的数据结构,便于提高数据查询的效率。
S240、通过所述计数器记录各分区中所述业务数据的读取次数。
具体的,计数器用于记录所在分区被查询的次数,当所在分区被查询和读取时,计数器的次数加1。此外,计数器定期清0,例如,每过一个星期将计数器清0,以反映最新一段时间的读取频率。
S250、根据各分区的业务数据的读取次数计算各分区的权重值。
具体的,根据各分区计数器所记录的读取次数,计算各分区的权重值,并更新初始权重值。示例性的,某个分区的初始权重值为0.5,该分区在一周内的读取次数超过100次,为读取频率较高的分区,则根据一定的计算方式将其初始权重值上调,如将该分区在一周内的读取次数占该数据表总读取次数的百分比与初始权重值0.5进行比较,如果高于0.5,则将所述百分比作为该分区新的权重值。在移除业务数据时,权重值高于权重阈值的分区的业务数据不会被移除。
S260、将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾,所述数据归档表的数据结构与所述数据表的数据结构一致。
具体的,将权重值小于等于权重阈值的分区中的业务数据从数据表迁移至数据归档表单独存储,这类业务数据是指时效性差、读取频率低、对业务分析无重要意义的数据。数据归档表的数据结构与所述数据表的数据结构一致,即数据归档表的字段、数据类型以及分区策略与数据表是一一对应的,并且在业务数据迁移至数据归档表时,减少了对数据归档表中的数据块查找空位的定位操作,直接迁移至对应分区的数据块末尾,提高业务数据的迁移效率。
进一步的,在迁移业务数据之前,首先创建表结构完全一样的数据归档表,示例性的,将数据表中3天前的业务数据,即时效性差的业务数据进行迁移,并从原来的数据表中删除。此迁移过程是根据分区执行的,例如:
--按分区迁移数据
insert into table2 select*from table1 partition(P20181001);
--按分区删除数据
alter table table1 truncate partition P20181001;
上述脚本代码的含义是,将table1(数据表)中P20181001分区的数据插入到table2(数据归档表)对应的分区,并从table1中删除该分区的业务数据。业务数据在写入到数据归档表的时候,通常会在数据归档表中定位到数据块的空位,再将迁移的业务数据写入空位,但这样每写入一条业务数据前,都要花时间进行定位。本实施例中的数据归档表table2是一个只增加数据、不会删减数据(即保持高水位)的数据库表,利用Oracle中的append选项,将要迁移的业务数据直接写入对应分区的数据块末尾,以实现提高业务数据迁移的效率,上述脚本代码优化为:
insert/*+append*/into table2 select*from table1 partition(P20181001)。
进一步的,定期对数据表进行抽样分析,检查是否存在权重值低于权重阈值但未及时迁移的业务数据。在执行业务数据迁移时,由于服务器不稳定、运行差错等原因,可能导致部分业务数据未及时迁移,超时存储在业务数据表中,占用不必要的内存。定期对数据表进行抽样分析,检查超时存储的数据并将其及时迁移,以降低数据表中超时存储的数据量、减少超时存储的时间,此外,通过抽样分析的方式,相对于全表分析会节省大量的计算资源和时间。
进一步的,在迁移业务数据后,更新或重建数据表的索引,以实时保持索引与数据的一致性。
S270、数据库当前的日志模式是否为归档模式,若是,则执行步骤S280;若否,则执行步骤S291。
具体的,日志用于记录Oracle数据库rollback时需要回滚的数据,在业务数据迁移的过程中不断产生。在每次迁移业务数据时,判断数据库当前的日志模式是否为归档模式(ARCHIVELOG),可通过select log_mode from v$database查看。如果是归档模式,则执行步骤S280,如果不是,则无需进一步设置,执行步骤S291。
S280、确定数据表的日志记录类型。
具体的,在归档模式下,确定数据表的日志记录类型具体是指确定对于各数据表是否需要生成迁移记录日志,所述日志记录类型可以通过人工输入的方式设置,也可为根据各数据表的分区的权重自动设置。
S290、根据所述日志记录类型对数据表生成迁移记录日志。
具体的,在归档模式下,通过alter table table2 NOLOGGING;语句可选定不需要生成迁移记录日志的数据归档表(table2),对于这类数据归档表在数据回滚时没有恢复数据的需求,则不记录该数据归档表中的业务数据的迁移过程,无需生成迁移记录日志;对于需要生成迁移记录日志的数据归档表,不断生成迁移记录日志,为数据回滚提供依据。
S291、定时增加数据表的分区并更新各分区的权重。
具体的,定时自动增加数据表的分区,例如,预先创建了60天的分区,则从第60天开始,每隔一周按照日期分区策略增加7个分区,用于存储更新日期的业务数据,并为增加的分区设置初始权重;同时根据读取频率、日期变化等规则更新已有的各分区的权重,以保证数据表的分区适应业务数据的变化,提高数据分区存储的灵活性。
需要说明的是,本实施例不限定步骤S291与步骤S210-S290的执行顺序。
本发明实施例二提供的一种数据存储方法,在上述实施例的基础上进行优化,通过创建带有计数器的索引,记录业务数据的读取频率,以实现将读取频率高的业务数据保留,将读取频率低的的业务数据迁移,灵活动态地调整各分区的业务数据,适应业务数据的实际需求;通过按照不同的策略对数据表分区并创建单一索引,提供清晰的数据存储结构,便于查询;通过将权重值小于等于权重阈值的业务数据迁移至数据归档表对应分区的数据块末尾,提高迁移效率;通过控制迁移记录日志的生成,节省大量的数据库资源和计算时间;通过定时增加分区并更新权重,保证数据表的分区适应业务数据的变化,提高数据分区存储的灵活性。
实施例三
图4为本发明实施例三提供的一种数据存储装置的结构图。本实施例提供的数据存储装置包括:
数据获取模块310,用于获取业务数据;
分区存储模块320,用于根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;
数据移除模块330,用于根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
本发明实施例三提供的一种数据存储装置,通过数据获取模块获取业务数据;通过分区存储模块根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;通过数据移除模块根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。通过上述技术方案,以实现提高业务数据分区存储的灵活性。
在上述实施例的基础上,所述数据存储装置,还包括:
索引创建模块,用于创建数据表的索引,所述索引包括计数器;
计数模块,用于通过所述计数器记录各分区中所述业务数据的读取次数;
权重计算模块,用于根据各分区的业务数据的读取次数计算各分区的权重值。
进一步的,所述数据移除模块330,具体用于将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾,所述数据归档表的数据结构与所述数据表的数据结构一致。
进一步的,所述数据存储装置,还包括:
数据归档表创建模块,用于在将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾之前,创建数据归档表。
进一步的,所述数据存储装置,还包括:
索引重建模块,用于在所述将权重值小于等于权重阈值的分区中的业务数据移除之后,重新创建数据表的索引。
进一步的,所述数据存储装置,还包括:
抽样分析模块,用于定期对数据表进行抽样分析,检查是否存在权重值低于权重阈值但未及时迁移的业务数据。
进一步的,所述数据存储装置,还包括:
日志记录类型确定模块,用于若数据库当前的日志模式为归档模式,则确定数据表的日志记录类型;
日志生成模块,用于根据所述日志记录类型对数据表生成迁移记录日志。
进一步的,所述数据存储装置,还包括:
分区模块,用于定时增加数据表的分区;
更新模块,用于定时更新数据表各分区的权重。
本发明实施例三提供的数据存储装置可以用于执行上述任意实施例提供的数据存储方法,具备相应的功能和有益效果。
实施例四
图5为本发明实施例四提供的一种服务器的硬件结构示意图。如图5所示,本实施例提供的一种服务器,包括:处理器410和存储装置420。该服务器中的处理器可以是一个或多个,图5中以一个处理器410为例,所述服务器中的处理器410和存储装置420可以通过总线或其他方式连接,图5中以通过总线连接为例。
所述一个或多个程序被所述一个或多个处理器410执行,使得所述一个或多个处理器实现上述实施例中任意所述的数据存储方法。
该服务器中的存储装置420作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中数据存储方法对应的程序指令/模块(例如,附图3所示的数据存储装置中的模块,包括:数据获取模块310、分区存储模块320以及数据移除模块)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据存储方法。
存储装置420主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据服务器的使用所创建的数据等(如上述实施例中的业务数据、迁移记录日志等)。此外,存储装置420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且,当上述服务器中所包括一个或者多个程序被所述一个或者多个处理器410执行时,程序进行如下操作:
获取业务数据;根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
本实施例提出的服务器与上述实施例提出的数据存储方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述任意实施例,并且本实施例具备与执行数据存储方法相同的有益效果。
在上述实施例的基础上,本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被数据存储装置执行时实现本发明上述任意实施例中的数据存储方法,该方法包括:
获取业务数据;根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的数据存储方法操作,还可以执行本发明任意实施例所提供的数据存储方法中的相关操作,且具备相应的功能和有益效果。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的数据存储方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储方法,其特征在于,包括:
获取业务数据;
根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;
根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
2.根据权利要求1所述的方法,其特征在于,在所述将所述业务数据存储至数据表中对应的分区之后,还包括:
创建数据表的索引,所述索引包括计数器;
通过所述计数器记录各分区中所述业务数据的读取次数;
根据各分区的业务数据的读取次数计算各分区的权重值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除,包括:
将权重值小于等于权重阈值的分区中的业务数据迁移至数据归档表对应分区的数据块的末尾,所述数据归档表的数据结构与所述数据表的数据结构一致。
4.根据权利要求3所述的方法,其特征在于,在所述将权重值小于等于权重阈值的分区中的业务数据迁移至所述数据归档表对应的分区之后,还包括:
若数据库当前的日志模式为归档模式,则确定数据表的日志记录类型;
根据所述日志记录类型对数据表生成迁移记录日志。
5.根据权利要求1所述的方法,其特征在于,还包括:
定时增加数据表的分区并更新各分区的权重。
6.一种数据存储装置,其特征在于,包括:
数据获取模块,用于获取业务数据;
分区存储模块,用于根据所述业务数据的数据类型和数据内容,将所述业务数据存储至数据表中对应的分区;
数据移除模块,用于根据所述分区的权重,将权重值小于等于权重阈值的分区中的业务数据移除。
7.根据权利要求6所述的装置,其特征在于,还包括:
索引创建模块,用于创建数据表的索引,所述索引包括计数器;
计数模块,用于通过所述计数器记录各分区中所述业务数据的读取次数;
权重计算模块,用于根据各分区的业务数据的读取次数计算各分区的权重值。
8.根据权利要求6所述的装置,其特征在于,还包括:
日志记录类型确定模块,用于若数据库当前的日志模式为归档模式,则确定数据表的日志记录类型;
日志生成模块,用于根据所述日志记录类型对数据表生成迁移记录日志。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据存储方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据存储方法。
CN201811452319.2A 2018-11-30 2018-11-30 一种数据存储方法、装置、服务器及存储介质 Pending CN109299115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811452319.2A CN109299115A (zh) 2018-11-30 2018-11-30 一种数据存储方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811452319.2A CN109299115A (zh) 2018-11-30 2018-11-30 一种数据存储方法、装置、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN109299115A true CN109299115A (zh) 2019-02-01

Family

ID=65141894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811452319.2A Pending CN109299115A (zh) 2018-11-30 2018-11-30 一种数据存储方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN109299115A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263044A (zh) * 2019-06-21 2019-09-20 深圳前海微众银行股份有限公司 数据存储方法、装置、设备及计算机可读存储介质
CN110457324A (zh) * 2019-08-09 2019-11-15 泰康保险集团股份有限公司 数据存储方法和装置
CN110555014A (zh) * 2019-09-06 2019-12-10 中国联合网络通信集团有限公司 一种数据迁移方法和系统、电子设备、存储介质
CN111198892A (zh) * 2019-12-24 2020-05-26 泰康保险集团股份有限公司 信息处理方法、装置、电子设备及存储介质
CN112395366A (zh) * 2019-08-19 2021-02-23 阿里巴巴集团控股有限公司 分布式数据库的数据处理及创建方法、装置及电子设备
CN112527786A (zh) * 2020-12-17 2021-03-19 平安银行股份有限公司 数据表分区新增方法、装置、计算机设备及存储介质
WO2021051625A1 (zh) * 2019-09-16 2021-03-25 平安科技(深圳)有限公司 数据表的构建方法、装置、设备及存储介质
CN112835986A (zh) * 2021-03-25 2021-05-25 中国工商银行股份有限公司 一种数据处理方法、装置、设备及存储介质
CN114064682A (zh) * 2022-01-17 2022-02-18 睿至科技集团有限公司 一种基于大数据的信息处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002015054A2 (en) * 2000-08-17 2002-02-21 Trendium, Inc. Database systems, methods and computer program products including reconfigurable dynamic time window management
CN104657459A (zh) * 2015-02-09 2015-05-27 中国科学院信息工程研究所 一种基于文件粒度的海量数据存储方法
CN105893531A (zh) * 2016-03-31 2016-08-24 武汉虹信技术服务有限责任公司 PostgreSQL数据库海量数据管理方法及系统
CN108319654A (zh) * 2017-12-29 2018-07-24 中国银联股份有限公司 计算系统、冷热数据分离方法及装置、计算机可读存储介质
CN108829782A (zh) * 2018-05-31 2018-11-16 平安科技(深圳)有限公司 数据表清理方法、服务器及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002015054A2 (en) * 2000-08-17 2002-02-21 Trendium, Inc. Database systems, methods and computer program products including reconfigurable dynamic time window management
CN104657459A (zh) * 2015-02-09 2015-05-27 中国科学院信息工程研究所 一种基于文件粒度的海量数据存储方法
CN105893531A (zh) * 2016-03-31 2016-08-24 武汉虹信技术服务有限责任公司 PostgreSQL数据库海量数据管理方法及系统
CN108319654A (zh) * 2017-12-29 2018-07-24 中国银联股份有限公司 计算系统、冷热数据分离方法及装置、计算机可读存储介质
CN108829782A (zh) * 2018-05-31 2018-11-16 平安科技(深圳)有限公司 数据表清理方法、服务器及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEX: "oracle快速向表中插入记录方法", 《HTTPS://WWW.CNBLOGS.COM/CSHARPBLOGS/ARTICLES/2126636.HTML》 *
梁默鱼: "数据表分区策略及实现", 《HTTPS://BLOG.CSDN.NET/A344288106/ARTICLE/DETAILS/80015234》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263044A (zh) * 2019-06-21 2019-09-20 深圳前海微众银行股份有限公司 数据存储方法、装置、设备及计算机可读存储介质
CN110263044B (zh) * 2019-06-21 2023-03-31 深圳前海微众银行股份有限公司 数据存储方法、装置、设备及计算机可读存储介质
CN110457324A (zh) * 2019-08-09 2019-11-15 泰康保险集团股份有限公司 数据存储方法和装置
CN112395366A (zh) * 2019-08-19 2021-02-23 阿里巴巴集团控股有限公司 分布式数据库的数据处理及创建方法、装置及电子设备
CN110555014B (zh) * 2019-09-06 2022-04-15 中国联合网络通信集团有限公司 一种数据迁移方法和系统、电子设备、存储介质
CN110555014A (zh) * 2019-09-06 2019-12-10 中国联合网络通信集团有限公司 一种数据迁移方法和系统、电子设备、存储介质
WO2021051625A1 (zh) * 2019-09-16 2021-03-25 平安科技(深圳)有限公司 数据表的构建方法、装置、设备及存储介质
CN111198892A (zh) * 2019-12-24 2020-05-26 泰康保险集团股份有限公司 信息处理方法、装置、电子设备及存储介质
CN112527786A (zh) * 2020-12-17 2021-03-19 平安银行股份有限公司 数据表分区新增方法、装置、计算机设备及存储介质
CN112527786B (zh) * 2020-12-17 2024-07-05 平安银行股份有限公司 数据表分区新增方法、装置、计算机设备及存储介质
CN112835986A (zh) * 2021-03-25 2021-05-25 中国工商银行股份有限公司 一种数据处理方法、装置、设备及存储介质
CN112835986B (zh) * 2021-03-25 2024-02-20 中国工商银行股份有限公司 一种数据处理方法、装置、设备及存储介质
CN114064682A (zh) * 2022-01-17 2022-02-18 睿至科技集团有限公司 一种基于大数据的信息处理方法及系统
CN114064682B (zh) * 2022-01-17 2022-04-08 睿至科技集团有限公司 一种基于大数据的信息处理方法及系统

Similar Documents

Publication Publication Date Title
CN109299115A (zh) 一种数据存储方法、装置、服务器及存储介质
EP3238106B1 (en) Compaction policy
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN103793493B (zh) 一种处理车载终端海量数据的方法和系统
EP3788505B1 (en) Storing data items and identifying stored data items
US11061899B2 (en) Query optimization in hybrid DBMS
CN104036029A (zh) 大数据一致性对比方法和系统
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质
CN110727406A (zh) 一种数据存储调度方法及装置
CN103412929A (zh) 一种海量数据的存储方法
CN114090631A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN113239012B (zh) 一种数据库迁移方法、装置、电子设备和存储介质
US8548980B2 (en) Accelerating queries based on exact knowledge of specific rows satisfying local conditions
CN118069712A (zh) 数据生命周期管理方法、装置、电子设备及存储介质
CN108959614A (zh) 一种快照管理方法、系统、装置、设备及可读存储介质
CN110597830B (zh) 实时指标生成方法和系统、电子设备及存储介质
CN116303246A (zh) 存储增量统计方法、装置、计算机设备及存储介质
CN109739883A (zh) 提升数据查询性能的方法、装置和电子设备
CN108984338A (zh) 一种面向去重备份系统数据恢复的离线最优缓存替换装置及方法
CN117472873A (zh) 数据迁移方法、装置、计算设备集群及存储介质
CN113420021A (zh) 一种数据存储方法、装置、设备及介质
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN112380164B (zh) 基于快照技术的电力系统场景化数据管理方法、装置及系统
US12079173B2 (en) Segmented streaming data processing
WO2020135737A1 (zh) 分区管理、数据存储和查询方法及装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190201