CN107861989A - 数据的分区存储方法、装置、计算机设备及存储介质 - Google Patents

数据的分区存储方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN107861989A
CN107861989A CN201710962200.9A CN201710962200A CN107861989A CN 107861989 A CN107861989 A CN 107861989A CN 201710962200 A CN201710962200 A CN 201710962200A CN 107861989 A CN107861989 A CN 107861989A
Authority
CN
China
Prior art keywords
partition table
data
time interval
service identification
parent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710962200.9A
Other languages
English (en)
Inventor
洪灿昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710962200.9A priority Critical patent/CN107861989A/zh
Priority to PCT/CN2017/112721 priority patent/WO2019075849A1/zh
Publication of CN107861989A publication Critical patent/CN107861989A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据的分区存储方法、装置、计算机设备及存储介质,属于计算机技术领域。该数据的分区存储方法包括:在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;当接收到待存储的数据时,提取该数据携带的业务标识;获取接收该数据的时间,并确定所述时间所属的时间区间;获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;将该待存储的数据存储至获取的所述子分区表中。本发明可以提高数据查询的效率,缩短数据查询及数据删除的响应时间。

Description

数据的分区存储方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及数据的分区存储方法、装置、计算机设备及存储介质。
背景技术
目前数据库中对于数据的存储一般是按照接收数据的时间进行存储,在进行数据查询或删除等操作时,需要在数据库的所有数据中查找出符合要求的数据,再根据删除等操作命令执行对应的操作,在实际运用中发现,目前的这种数据库的存储方式并不适用于企业服务治理监控平台这类大平台中的数据存储,这种大平台中的数据每天可以接收大几千万的数据,数据库存储的数据达到几十T(Tera,计算机的国际计数单位,表示“太拉”,1T=1024G),在实际应用时发现,查询30分钟之内的数据都需要至少两分钟,数据库服务器的压力很大,经常需要扩容,且用户也需要等待比较久的时间,目前这种数据库中数据的存储方式丞待改进。
发明内容
本发明实施例提供数据的分区存储方法、装置、计算机设备及存储介质,可以缩短数据查询的响应时间。
一种数据的分区存储方法,该方法包括:
在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;
当接收到待存储的数据时,提取该数据携带的业务标识;
获取接收该数据的时间,并确定所述时间所属的时间区间;
获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;
将该待存储的数据存储至获取的所述子分区表中。
在其中一个实施例中,该方法还包括:
接收到查询指令时,接收输入的业务标识及查询时间段;
查询与接收的该业务标识对应的父分区表;
在该父分区表中查询属于该查询时间段的时间区间,并获取查询的该时间区间所对应的子分区表;
将存储在查询的该子分区表中的数据作为该查询的结果。
在其中一个实施例中,该在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表的步骤包括:
接收输入的时间区间及至少一个业务标识;
与接收的每个业务标识对应的创建一个父分区表;
在每个该父分区表下创建与接收的时间区间相对应的子分区表,该分区键与该父分区表下的子分区表一一对应。
在其中一个实施例中,该在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表的步骤包括:
接收输入月份或按星期确定的天数,以得到该时间区间;
根据该时间区间的个数,确定该父分区表中子分区表的个数;
按照各个时间区间的时间顺序,确定该单位时间段与该子分区表的对应关系。
在其中一个实施例中,该时间区间以月份进行划分;该方法还包括:
接收父分区表的选择指令;
确定当前时间所属月份的下一个月份;
自动删除被选择的父分区表中与该下一个月份相对应的子分区表中存储的数据。
在其中一个实施例中,该时间区间按照星期中的天数进行划分,该方法还包括:
接收父分区表的选择指令;
确定当前时间所属星期天数的下一个星期天数;
自动删除被选择的父分区表中与该下一个星期天数相对应的子分区表中存储的数据。
一种数据的分区存储装置,该装置包括:
分区表创建模块,用于在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;
业务标识提取模块,用于当接收到待存储的数据时,提取该数据携带的业务标识;
时间获取模块,用于获取接收该数据的时间,并确定所述时间所属的时间区间;
分区表获取模块,用于获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;
存储模块,用于将该待存储的数据存储至获取的所述子分区表中。
在其中的一个实施例中,该数据的分区存储装置还包括:
查询时间段接收模块,用于接收到查询指令时,接收输入的业务标识及查询时间段;
父分区表查询模块,用于查询与接收的该业务标识对应的父分区表;
子分区表查询模块,用于在该父分区表中查询属于该查询时间段的时间区间,并获取查询的该时间区间所对应的子分区表;
结果查询模块,用于将存储在查询的该子分区表中的数据作为该查询的结果。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现上述数据的分区存储方法。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述数据的分区存储方法中的步骤。
本发明通过根据接收的指令,在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表,当接收到待存储的数据时,根据该数据中包含的业务标识及接收该数据的时间,将该数据存储至对应的父分区表下对应的子分区表中,使得用户进行数据查询或数据删除时,只需要查询子分区表即可,不需要从数据库中单独地查询某一个数据进行删除,提高了数据查询的效率,缩短了数据查询及数据删除的响应时间。
附图说明
图1为根据本发明的一个实施例的数据的分区存储方法的流程图;
图2为根据本发明的另一实施例的数据的分区存储方法的流程图;
图3为根据本发明的又一实施例的数据的分区存储方法的流程图;
图4为根据本发明的再一实施例的数据的分区存储方法的流程图;
图5为根据本发明的一个实施例的数据的分区存储装置的示范性结构框图;
图6为根据本发明的一个实施例的计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为根据本发明的一个实施例的数据的分区存储方法的流程图,下面结合图1来详细描述根据本发明的一个实施例的数据的分区存储方法,该方法可应用于具有存储功能的计算机设备,具体可以是服务器,也可以是终端设备,如图1所示,该方法包括以下步骤S101至S105。
S101、在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表。
S102、当接收到待存储的数据时,提取该数据携带的业务标识。
根据本实施例的一个示例,上述待存储的数据不限于数据的来源和种类,只要是携带有业务标识的需要存储的数据,均可以使用本申请提供的存储方法进行存储。其中,该业务标识可以封装在该待存储的数据中,也可以作为单独的数据来源,在此不做限定。
S103、获取接收该数据的时间,并确定所述时间所属的时间区间。
S104、获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表。
S105、将该待存储的数据存储至获取的所述子分区表中。
根据本实施例的一个使用场景A例如,根据程序员输入的指令,在数据库中创建两个父分区表,分别用于存储子公司A的数据和子公司B的数据,并在这两个父分区表中以星期天数为时间区间创建了五个子分区表,分别为星期一的子分区表、星期二的子分区表、...、星期天的子分区表,当在周一上午十点接收到子公司A发来的待存储的数据时,判断接收的时间属于星期一这个时间区间内,则将接收到的数据存储在公司A的父分区表下的星期一的子分区表中。
在其中一个实施例中,上述在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表的步骤包括以下步骤(1)至步骤(3):
(1)、接收输入月份或按星期确定的天数,以得到该时间区间。
其中,该时间区间可以是一天,也可以是一个月。
(2)、根据该时间区间的个数,确定该父分区表中子分区表的个数。
根据本实施例的一个示例,子分区表的个数根据时间区间的划分标准而不同,当以一周中的五天为划分依据时,该子分区表的个数可以为7个,当以一年中的月份为划分依据时,该子分区表的个数可以为12个,当以一个月中的一天为划分标准时,该子分区表的个数可以为28个、29个、30个或者31个。
(3)、按照各个时间区间的时间顺序,确定该单位时间段与该子分区表的对应关系。
其中,上述的按照时间区间的时间顺序确定该单位时间段与该子分区表的对应关系,可以是按照时间的正顺序确定该单位时间段与该子分区表的对应关系,还可以是按照时间的逆顺序确定该单位时间段与该子分区表的对应关系。
根据本实施例的一个使用场景例如,所述时间区间分别为星期一、星期二、...、星期天,则可以将星期一与第1个子分区表相对应,将星期二与第2个子分区表相对应、...、将星期天与第7个子分区表相对应。
在其中的一个实施例中,上述步骤S101进一步为根据接收的指令,在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表。
根据本实施例的一个示例,上述接收的指令可以是接收程序员输入的编程指令,程序员可以通过键盘、输盘等输入装置在应用端输入编程指令,通过该指令在数据库中创建与业务标识相对应的父分区表,再在每个父分区表下创建与时间区间相对应的子分区表。
其中,上述的业务标识可以根据实际的使用场景进行确定,例如在数据库中存储大量不同子公司的数据时,可以对各个子公司设置不同的编码,每个编码对应其中一个子公司,这种情况下上述的业务标识可以是与各个子公司对应的编码。再例如当在数据库中存储大量不同的应用程序产生的数据时,可以对不同的应用程序设置与其唯一对应的编码,这种情况下上述的业务标识可以是与各个应用程序相对应的编码。具体将何种信息作为该步骤中的业务标识可以由程序员根据实际的需要来设定。
根据本实施例的另一示例,上述的时间区间的长短以及划分依据也可以由实际的使用需求来设定。例如当需要存储的数据量非常大,甚至是海量时,可以将该时间区间设置的稍短,例如为一天或者是一个小时,当存储的数据量需要存储很长时间或者是数据库的容量远大于日常的数据吞吐量时,可以将该时间区间设置的稍长,例如可以是一周或者是一个月。其中,当上述的时间区间以小时为单位时,划分的依据可以是在一天之内进行划分,当以天为单位时,则既可以在一周之内进行划分也可以在一个月之内进行划分。
本实施例通过根据接收的指令,在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表,当接收到待存储的数据时,根据该数据中包含的业务标识及接收该数据的时间,将该数据存储至对应的父分区表下对应的子分区表中,使得用户进行数据查询或数据删除时,只需要查询子分区表即可,不需要从数据库中单独地查询某一个数据进行删除,提高了数据查询的效率,缩短了数据查询及数据删除的响应时间。
图2为根据本发明的另一实施例的数据的分区存储方法的流程图,下面结合图2来详细描述根据本发明的一个实施例的数据的分区存储方法,如图2所示,该方法在包括上述步骤S101至S105的基础上,还包括以下步骤S201至S204。
S201、接收到查询指令时,接收输入的业务标识及查询时间段。
其中,上述的业务标识可以是标识某个子公司的编码,上述查询时间段例如星期一至星期三。其中输入的业务标识及查询时间段可以通过预设的字符来连接,例如下划线“_”,可以通过连接符“-”来连接查询时间段的起点时间和结束时间,当与子公司A对应业务标识的编码为pa011、与子公司B对应业务标识的编码为pa012时,如01至07分别对应星期一至星期天,当需要查询子公司A星期一到星期三的数据时,可以通过输入“pa011_01-pa011_03”来查找对应的子分区表。
S202查询与接收的该业务标识对应的父分区表。
S203在该父分区表中查询属于该查询时间段的时间区间,并获取查询的该时间区间所对应的子分区表。
S204将存储在查询的该子分区表中的数据作为该查询的结果。
根据本实施例的一个使用场景,上述的查询指令例如可以是点击屏幕上的查询按钮,可以是通过语音输入查询指令等等。
根据本实施例的一个示例,该方法还包括:
接收到删除指令时,将查询的所述子分区表中存储的数据进行删除。
根据本实施例的一个示例,通过输入的truncate命令对查询到的子分区表中存储的数据进行删除。
本实施例在进行删除时选择用truncate命令进行删除可以在清空存储在子分区表的数据时不对存储在父分区表中的数据造成影响,且truncate删除命令在各种表上无论是大量数据的还是少量数据都非常快,该删除命令不会被撤销,因此可以进一步提高数据删除的效率。
本实施例提供了用户进行手动查询和手动删除的方案,用户可以通过输入需要查询的业务标识及查询时间段,在数据库中查询对应的子分区表,将子分区表中存储的内容作为查询的结果,避免了在存储的每个数据中查找符合要求的数据,以缩短查询时间。且在进行数据删除时是直接删除子分区表中存储的全部数据,而不需要对每个数据进行单独的删除,同时也可缩短数据删除的时间。
图3为根据本发明的又一实施例的数据的分区存储方法的流程图,下面结合图3详细描述根据本发明的一个实施例的数据的分区存储方法,如图3所示,该方法在包括上述步骤S102至S105的基础上,还包括以下步骤S301至S303。
S301、接收输入的时间区间及至少一个业务标识。
根据本实施例的一个示例,上述的业务标识与时间区间是一对多的关系,标识每个业务标识相对应的时间区间可以是多个,不同的业务标识下的时间区间可以是相同的。例如当业务标识包括子公司A的编码和子公司B的编码时,与子公司A的编码对应的时间区间可以是星期一、星期二、...、星期天,同样地,与子公司B的编码对应的时间区间也可以是星期一、星期二、...、星期天。
S302、与接收的每个业务标识对应的创建一个父分区表。
其中,父分区表的可以与业务标识一一对应,父分区表的个数也可以与业务标识的个数一一对应。当需要新增存储一个子公司的数据时,可以通过再创建一个与该子公司编码相对应的父分区表,再在该父分区表中创建对应的各个子分区表来实现数据的存储。
S303、在每个该父分区表下创建与接收的时间区间相对应的子分区表,该分区键与该父分区表下的子分区表一一对应。
其中,该步骤可通过分区键在每个该父分区表下创建与接收的时间区间相对应的子分区表,该分区键(partition key)是决定数据行属于哪个分区的一组数据列。Oracle数据库在执行插入、更新、及删除操作时能根据分区键自动地选择分区。分区表内的每个数据行都能且只能分配到一个分区中(partition)。
本实施例提供的这种按需创建父分区表及子分区表的方法可以避免在数据库中创建无用的分区表,可以节省存储空间。
图4为根据本发明的再一实施例的数据的分区存储方法的流程图,下面结合图4来详细描述根据本发明的一个实施例的数据的分区存储方法,如图4所示,该方法在包括上述步骤S101至S105的基础上,上述时间区间按照星期中的天数进行划分,上述步骤S101进一步包括:
根据接收的指令,在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表,该时间区间按照星期中的天数进行划分。
该数据的分区存储的方法还包括以下步骤S401至S403:
S401、接收父分区表的选择指令。
根据本实施例的一个示例,父分区表的选择指令可以通过输入父分区表对应的业务标识来确定,其中输入的方式可以是鼠标键盘的方式进行输入。
S402、确定当前时间所属星期天数的下一个星期天数。
根据本实施例的一个使用场景例如,当当前时间为星期一时,则将星期二确定为所述下一个星期天数。
S403、自动删除被选择的父分区表中与该下一个星期天数相对应的子分区表中存储的数据。
根据本实施例的一个示例,上述步骤S403中自动删除的操作通过输入的truncate命令对对应子分区表中存储的数据进行删除,可以进一步提高数据删除的效率。
本实施例将星期天数作为时间区间的划分依据可以不同对日期进行转换,例如不需要对大小月以及二月之间不同的时间进行转换,也不用考虑平年闰年,可以简化本申请实现的难度。
在其中一个实施例中,作为另外一个可选地方案,上述的时间区间以月份进行划分,本实施例中该数据的分区存储方法在包括上述步骤S101至S105的基础上还包括以下步骤1至步骤3:
1、接收父分区表的选择指令。
2、确定当前时间所属月份的下一个月份。
根据本实施例的一个使用场景例如,当当前时间为一月份时,则将二月份确定为所述下一个月份。
3、自动删除被选择的父分区表中与该下一个月份相对应的子分区表中存储的数据。
其中,上述步骤中自动删除的操作也可以通过输入的truncate命令对对应子分区表中存储的数据进行删除,可以进一步提高数据删除的效率。
本实施例通过将月份作为时间区间的划分依据,将数据的存储周期设定为一年,使得数据可以存储更长的时间,可以适用于小数据量的存储和管理。
本实施例提供了一种依据上述数据的分区存储方法进行数据自动删除的方法,本实施例通过设定数据的存储周期,例如一周或是一个月,将当前时间所在的时间区间的下一个时间区间对应的分区表中的数据进行删除,使得当下一个时间区间到来时,可以将该时间区间内接收到的数据存储到对应的子分区表中,自动删除的效率要高于手动删除的效率,可以进一步提高数据删除的效率。
本实施例提供的数据的分区存储方法可适用于数据库中第一层的list分区,其第2层可以通过HASH分区(又称散列分区)的形式来实现,散列分区通过指定分区编号来均匀分布数据的一种分区类型,因为通过在I/O(输入/输出)设备上进行散列分区,使得这些分区大小一致,可以使得HASH分区中的各个分区的数据更加均衡。
根据本实施例的一个示例,上述步骤S101~S404的标号并不用于限定本实施例中各个步骤的先后顺序,各个步骤的编号只是为了使得描述各个步骤时可以通用引用该步骤的标号进行便捷的指代,例如上述步骤S102可以在S103的步骤之前,也可以在步骤S103的步骤之后,只要各个步骤执行的顺序不影响本实施例的逻辑关系即表示在本申请请求保护的范围之内。
图5为根据本发明的一个实施例的数据的分区存储装置的示范性结构框图,下面结合图5来详细描述根据本发明的一个实施例的数据的分区存储装置,如图5所示,该数据的分区存储装置10包括:
分区表创建模块11,用于在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;
业务标识提取模块12,用于当接收到待存储的数据时,提取该数据携带的业务标识;
时间获取模块13,用于获取接收该数据的时间,并确定所述时间所属的时间区间;
分区表获取模块14,用于获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;
存储模块15,用于将该待存储的数据存储至获取的所述子分区表中。
其中,上述接收的指令可以是接收程序员输入的编程指令,程序员可以通过键盘、输盘等输入装置在应用端输入编程指令,通过该指令在数据库中创建与业务标识相对应的父分区表,再在每个父分区表下创建与时间区间相对应的子分区表。
在其中一个实施例中,上述的数据的分区存储装置还包括:
查询时间段接收模块,用于接收到查询指令时,接收输入的业务标识及查询时间段;
父分区表查询模块,用于查询与接收的该业务标识对应的父分区表;
子分区表查询模块,用于在该父分区表中查询属于该查询时间段的时间区间,并获取查询的该时间区间所对应的子分区表;
结果查询模块,用于将存储在查询的该子分区表中的数据作为该查询的结果。
在其中的一个实施例中,该数据的分区存储装置还包括:
删除模块,用于接收到删除指令时,将查询的所述子分区表中存储的数据进行删除。
根据本实施例的一个示例,上述的删除模块通过输入的truncate命令对查询到的子分区表中存储的数据进行删除。
本实施例在进行删除时选择用truncate命令进行删除可以在清空存储在子分区表的数据时不对存储在父分区表中的数据造成影响,且truncate删除命令在各种表上无论是大量数据的还是少量数据都非常快,该删除命令不会被撤销,因此可以进一步提高数据删除的效率。
在其中一个实施例中,上述的分区表创建模块还包括:
接收单元,用于接收输入的时间区间及至少一个业务标识;
父分区表创建单元,用于与接收的每个业务标识对应的创建一个父分区表;
子分区表创建单元,用于在每个该父分区表下创建与接收的时间区间相对应的子分区表,该分区键与该父分区表下的子分区表一一对应。
其中,该子分区表创建单元可通过分区键在每个该父分区表下创建与接收的时间区间相对应的子分区表。
在其中的一个实施例中,上述的分区表创建模块还包括:
时间区间接收单元,用于接收输入月份或按星期确定的天数,以得到该时间区间;
个数确定单元,用于根据该时间区间的个数,确定该父分区表中子分区表的个数;
对应关系确定单元,用于按照各个时间区间的时间顺序,确定该单位时间段与该子分区表的对应关系。
在其中的一个实施例中,上述的时间区间以月份进行划分,该数据的分区存储装置10还包括:
选择指令接收模块,用于接收父分区表的选择指令;
月份确定模块,用于确定当前时间所属月份的下一个月份;
自动删除模块,用于自动删除被选择的父分区表中与该下一个月份相对应的子分区表中存储的数据。
在其中的一个实施例中,上述时间区间按照星期中的天数进行划分,该数据的分区存储装置10还包括:
星期天数确定模块,用于确定当前时间所属星期天数的下一个星期天数;
上述自动删除模块还用于自动删除被选择的父分区表中与该下一个星期天数相对应的子分区表中存储的数据。
根据本实施例的一个示例,上述自动删除模块通过输入的truncate命令对对应子分区表中存储的数据进行删除。
其中,该数据的分区存储装置中包括的各个模块可全部或部分通过软件、硬件或其组合来实现。进一步地,该数据的分区存储装置中的各个模块可以是用于实现对应功能的程序段。
上述数据的分区存储装置可以实现为一种计算机程序的形式,计算机程序可以在如图6所示的计算机设备上运行。
根据本发明的一个实施例提供的一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现上述数据的分区存储方法。
图6为根据本发明的一个实施例的计算机设备的内部结构示意图,该计算机设备可以为服务器。参照图6,该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、输入装置、显示屏和网络接口。其中,该计算机设备的非易失性存储介质可存储操作系统和计算机可读指令,该计算机可读指令被执行时,可使得处理器执行本申请各实施例的一种数据的分区存储方法,该方法的具体实现过程可参考图1至4各实施例的具体内容,在此不再赘述。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种数据的分区存储方法。计算机设备的输入装置用于各个参数的输入,计算机设备的显示屏用于进行显示,计算机设备的网络接口用于进行网络通信。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。
本实施例另提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述数据的分区存储方法中的各个步骤。
根据本实施例的一个示例,上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
本实施例通过根据接收的指令,在数据库中创建与业务标识相对应的父分区表,并在该父分区表下创建与时间区间相对应的子分区表,当接收到待存储的数据时,根据该数据中包含的业务标识及接收该数据的时间,将该数据存储至对应的父分区表下对应的子分区表中,使得用户进行数据查询或数据删除时,只需要查询子分区表即可,不需要从数据库中单独地查询某一个数据进行删除,提高了数据查询的效率,缩短了数据查询及数据删除的响应时间。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据的分区存储方法,其特征在于,所述方法包括:
在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;
当接收到待存储的数据时,提取所述数据携带的业务标识;
获取接收所述数据的时间,并确定所述时间所属的时间区间;
获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;
将所述待存储的数据存储至获取的所述子分区表中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收到查询指令时,接收输入的业务标识及查询时间段;
查询与接收的所述业务标识对应的父分区表;
在所述父分区表中查询属于所述查询时间段的时间区间,并获取查询的所述时间区间所对应的子分区表;
将存储在查询的所述子分区表中的数据作为所述查询的结果。
3.根据权利要求1所述的方法,其特征在于,所述在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表的步骤包括:
接收输入的时间区间及至少一个业务标识;
与接收的每个业务标识对应的创建一个父分区表;
在每个所述父分区表下创建与接收的时间区间相对应的子分区表,所述分区键与所述父分区表下的子分区表一一对应。
4.根据权利要求1所述的方法,其特征在于,所述在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表的步骤包括:
接收输入月份或按星期确定的天数,以得到所述时间区间;
根据所述时间区间的个数,确定所述父分区表中子分区表的个数;
按照各个时间区间的时间顺序,确定所述单位时间段与所述子分区表的对应关系。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述时间区间以月份进行划分;所述方法还包括:
接收父分区表的选择指令;
确定当前时间所属月份的下一个月份;
自动删除被选择的父分区表中与所述下一个月份相对应的子分区表中存储的数据。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述时间区间按照星期中的天数进行划分;所述方法还包括:
接收父分区表的选择指令;
确定当前时间所属星期天数的下一个星期天数;
自动删除被选择的父分区表中与所述下一个星期天数相对应的子分区表中存储的数据。
7.一种数据的分区存储装置,其特征在于,所述装置包括:
分区表创建模块,用于在数据库中创建与业务标识相对应的父分区表,并在所述父分区表下创建与时间区间相对应的子分区表;
业务标识提取模块,用于当接收到待存储的数据时,提取所述数据携带的业务标识;
时间获取模块,用于获取接收所述数据的时间,并确定所述时间所属的时间区间;
分区表获取模块,用于获取与提取的所述业务标识相对应的父分区表,并获取所述父分区表下与确定的所述时间区间相对应的子分区表;
存储模块,用于将所述待存储的数据存储至获取的所述子分区表中。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
查询时间段接收模块,用于接收到查询指令时,接收输入的业务标识及查询时间段;
父分区表查询模块,用于查询与接收的该业务标识对应的父分区表;
子分区表查询模块,用于在该父分区表中查询属于该查询时间段的时间区间,并获取查询的该时间区间所对应的子分区表;
结果查询模块,用于将存储在查询的该子分区表中的数据作为该查询的结果。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一项的数据的分区存储方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至6任一项所述方法中的步骤。
CN201710962200.9A 2017-10-17 2017-10-17 数据的分区存储方法、装置、计算机设备及存储介质 Pending CN107861989A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710962200.9A CN107861989A (zh) 2017-10-17 2017-10-17 数据的分区存储方法、装置、计算机设备及存储介质
PCT/CN2017/112721 WO2019075849A1 (zh) 2017-10-17 2017-11-23 数据的分区存储方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710962200.9A CN107861989A (zh) 2017-10-17 2017-10-17 数据的分区存储方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN107861989A true CN107861989A (zh) 2018-03-30

Family

ID=61698756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710962200.9A Pending CN107861989A (zh) 2017-10-17 2017-10-17 数据的分区存储方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN107861989A (zh)
WO (1) WO2019075849A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376148A (zh) * 2018-08-22 2019-02-22 中国平安人寿保险股份有限公司 缓慢变化维表的数据处理方法、装置、电子设备
CN109683809A (zh) * 2018-11-19 2019-04-26 深圳市艾锐达光电有限公司 一种数据存储方法及终端
CN109886647A (zh) * 2019-01-29 2019-06-14 广东华伦招标有限公司 采购业务功能模块管理方法、装置、设备及存储介质
CN110012050A (zh) * 2018-12-04 2019-07-12 阿里巴巴集团控股有限公司 消息处理、存储方法、装置及系统
CN110083602A (zh) * 2019-04-15 2019-08-02 北京三快在线科技有限公司 一种基于hive表的数据存储及数据处理的方法及装置
CN110309108A (zh) * 2019-05-08 2019-10-08 江苏满运软件科技有限公司 数据采集及储存方法、装置、电子设备、存储介质
CN110321334A (zh) * 2019-05-24 2019-10-11 平安银行股份有限公司 数据库自动分区扩容的方法及装置
CN110347661A (zh) * 2019-07-05 2019-10-18 北京红山信息科技研究院有限公司 数据源准实时入库的方法、装置、服务器和存储介质
WO2020135737A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 分区管理、数据存储和查询方法及装置、设备、介质
CN111506573A (zh) * 2020-03-16 2020-08-07 中国平安人寿保险股份有限公司 数据库表分区方法、装置、计算机设备及存储介质
CN111881091A (zh) * 2020-06-08 2020-11-03 微梦创科网络科技(中国)有限公司 数据存储方法、装置、电子设备及存储介质
CN113238993A (zh) * 2021-05-14 2021-08-10 中国人民银行数字货币研究所 一种数据处理方法和装置
CN113486083A (zh) * 2021-06-30 2021-10-08 高新兴科技集团股份有限公司 数据处理方法、系统、计算机存储介质及电子设备
CN113886276A (zh) * 2021-12-06 2022-01-04 北京达佳互联信息技术有限公司 业务创建方法、装置、服务器及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399354B (zh) * 2019-07-29 2022-03-18 锐捷网络股份有限公司 数据库的分区交换方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404013A (zh) * 2008-11-13 2009-04-08 山东浪潮齐鲁软件产业股份有限公司 数据库大数据量表存储和查询方法
CN102063490A (zh) * 2010-12-20 2011-05-18 大唐移动通信设备有限公司 一种数据库分区方法和分区装置
CN102141963A (zh) * 2010-01-28 2011-08-03 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技(北京)有限公司 一种数据库维护方法和设备
CN105447112A (zh) * 2015-11-12 2016-03-30 国云科技股份有限公司 一种实现关系数据库Hash分区高效扩展的方法
CN106407191A (zh) * 2015-07-27 2017-02-15 中国移动通信集团公司 一种数据处理方法及服务器
US20170078361A1 (en) * 2015-09-12 2017-03-16 The Aleph Group Pte., Ltd. Method and System for Collecting Digital Media Data and Metadata and Audience Data
CN107239485A (zh) * 2017-04-18 2017-10-10 北京小度信息科技有限公司 数据库操作方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673192B (zh) * 2009-10-26 2011-09-14 北京云快线软件服务有限公司 时序化的数据处理方法、装置及系统
CN104572860B (zh) * 2014-12-17 2018-01-26 北京皮尔布莱尼软件有限公司 一种数据处理方法和系统
CN105354315B (zh) * 2015-11-11 2018-10-30 华为技术有限公司 分布式数据库中子表分裂的方法、子表节点和系统
CN106844721A (zh) * 2017-02-09 2017-06-13 济南浪潮高新科技投资发展有限公司 数据存储方法、装置、系统、可读介质及存储控制器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404013A (zh) * 2008-11-13 2009-04-08 山东浪潮齐鲁软件产业股份有限公司 数据库大数据量表存储和查询方法
CN102141963A (zh) * 2010-01-28 2011-08-03 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技(北京)有限公司 一种数据库维护方法和设备
CN102063490A (zh) * 2010-12-20 2011-05-18 大唐移动通信设备有限公司 一种数据库分区方法和分区装置
CN106407191A (zh) * 2015-07-27 2017-02-15 中国移动通信集团公司 一种数据处理方法及服务器
US20170078361A1 (en) * 2015-09-12 2017-03-16 The Aleph Group Pte., Ltd. Method and System for Collecting Digital Media Data and Metadata and Audience Data
CN105447112A (zh) * 2015-11-12 2016-03-30 国云科技股份有限公司 一种实现关系数据库Hash分区高效扩展的方法
CN107239485A (zh) * 2017-04-18 2017-10-10 北京小度信息科技有限公司 数据库操作方法、装置及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376148B (zh) * 2018-08-22 2023-07-18 中国平安人寿保险股份有限公司 缓慢变化维表的数据处理方法、装置、电子设备
CN109376148A (zh) * 2018-08-22 2019-02-22 中国平安人寿保险股份有限公司 缓慢变化维表的数据处理方法、装置、电子设备
CN109683809A (zh) * 2018-11-19 2019-04-26 深圳市艾锐达光电有限公司 一种数据存储方法及终端
CN109683809B (zh) * 2018-11-19 2021-08-31 深圳市艾锐达光电有限公司 一种数据存储方法及终端
CN110012050A (zh) * 2018-12-04 2019-07-12 阿里巴巴集团控股有限公司 消息处理、存储方法、装置及系统
CN111382197A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 分区管理、数据存储和查询方法及装置、设备、介质
CN111382197B (zh) * 2018-12-28 2023-10-27 杭州海康威视数字技术股份有限公司 分区管理、数据存储和查询方法及装置、设备、介质
WO2020135737A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 分区管理、数据存储和查询方法及装置、设备、介质
CN109886647A (zh) * 2019-01-29 2019-06-14 广东华伦招标有限公司 采购业务功能模块管理方法、装置、设备及存储介质
CN110083602B (zh) * 2019-04-15 2021-07-06 北京三快在线科技有限公司 一种基于hive表的数据存储及数据处理的方法及装置
CN110083602A (zh) * 2019-04-15 2019-08-02 北京三快在线科技有限公司 一种基于hive表的数据存储及数据处理的方法及装置
CN110309108A (zh) * 2019-05-08 2019-10-08 江苏满运软件科技有限公司 数据采集及储存方法、装置、电子设备、存储介质
CN110321334A (zh) * 2019-05-24 2019-10-11 平安银行股份有限公司 数据库自动分区扩容的方法及装置
CN110321334B (zh) * 2019-05-24 2024-03-19 平安银行股份有限公司 数据库自动分区扩容的方法及装置
CN110347661A (zh) * 2019-07-05 2019-10-18 北京红山信息科技研究院有限公司 数据源准实时入库的方法、装置、服务器和存储介质
CN111506573A (zh) * 2020-03-16 2020-08-07 中国平安人寿保险股份有限公司 数据库表分区方法、装置、计算机设备及存储介质
CN111506573B (zh) * 2020-03-16 2024-03-12 中国平安人寿保险股份有限公司 数据库表分区方法、装置、计算机设备及存储介质
CN111881091A (zh) * 2020-06-08 2020-11-03 微梦创科网络科技(中国)有限公司 数据存储方法、装置、电子设备及存储介质
CN111881091B (zh) * 2020-06-08 2024-06-25 微梦创科网络科技(中国)有限公司 数据存储方法、装置、电子设备及存储介质
CN113238993A (zh) * 2021-05-14 2021-08-10 中国人民银行数字货币研究所 一种数据处理方法和装置
CN113238993B (zh) * 2021-05-14 2023-12-05 中国人民银行数字货币研究所 一种数据处理方法和装置
CN113486083A (zh) * 2021-06-30 2021-10-08 高新兴科技集团股份有限公司 数据处理方法、系统、计算机存储介质及电子设备
CN113886276B (zh) * 2021-12-06 2022-03-25 北京达佳互联信息技术有限公司 业务创建方法、装置、服务器及存储介质
CN113886276A (zh) * 2021-12-06 2022-01-04 北京达佳互联信息技术有限公司 业务创建方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
WO2019075849A1 (zh) 2019-04-25

Similar Documents

Publication Publication Date Title
CN107861989A (zh) 数据的分区存储方法、装置、计算机设备及存储介质
CN113342750B (zh) 一种文件的数据比对方法、装置、设备及存储介质
CN105900093B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
CN107608773A (zh) 任务并发处理方法、装置及计算设备
CN109299083A (zh) 一种数据治理系统
CN106294462A (zh) 一种获取推荐视频的方法和系统
CN110245145A (zh) 关系型数据库到Hadoop数据库的结构同步方法和装置
CN108200070A (zh) 一种生成榜单的方法及装置
CN103186617A (zh) 一种存储数据的方法和装置
CN107451190A (zh) 可持久化非关系型数据库的数据处理方法及装置
CN114780641A (zh) 多库多表同步方法、装置、计算机设备和存储介质
CN104714957A (zh) 一种表结构的变更方法及装置
CN116452123A (zh) 清单项目特征值的生成方法、装置和计算机设备
CN104991741B (zh) 一种基于键值模型的情境适配电网大数据存储方法
CN106383897B (zh) 数据库容量计算方法和装置
CN104484375B (zh) 在项目分析流程中自动建立数据库的方法及系统
CN104572805A (zh) 通过实时索引生成处理地图数据的装置和方法及其系统
CN106802928A (zh) 电网历史数据管理方法及其系统
US20200409553A1 (en) Method of storing and accessing data
CN113094442A (zh) 全量数据同步方法、装置、设备和介质
CN110019132A (zh) 点赞数据存储方法及设备
CN106155594A (zh) 一种数据处理方法及装置
CN107526816B (zh) 一种流式分发记录的保存方法、装置及电子设备
CN110069481B (zh) 基于大数据的生产库数据统一清理方法及相关设备
CN106980685A (zh) 数据处理方法及数据处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330