CN101727489A - 一种库表分区代码存储方法及装置 - Google Patents
一种库表分区代码存储方法及装置 Download PDFInfo
- Publication number
- CN101727489A CN101727489A CN200910242791A CN200910242791A CN101727489A CN 101727489 A CN101727489 A CN 101727489A CN 200910242791 A CN200910242791 A CN 200910242791A CN 200910242791 A CN200910242791 A CN 200910242791A CN 101727489 A CN101727489 A CN 101727489A
- Authority
- CN
- China
- Prior art keywords
- storage
- model
- space
- base table
- subregion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005192 partition Methods 0.000 claims description 35
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000005055 memory storage Effects 0.000 claims description 4
- 238000013316 zoning Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 206010037833 rales Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
本发明公开了一种库表分区代码存储方法及装置。一种库表分区代码存储方法包括：创建库表分区存储模型；根据预先设置的分区存储规则，确定库表分区的存储空间；确定库表分区索引的存储规则；获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种库表分区代码存储方法及装置。
背景技术
现有的一些数据库管理工具，支持对大表进行分区处理的功能，将大表划分成许多类似小表的方式进行管理，在数据访问时，可以按照单个分区进行，减少了全表扫描，从而提高数据访问的效率。
当我们对某个或某些库表进行分区时，需要对每个分区指定一个表空间存储，每个分区表空间单独存储，以达到输入/输出分离的目的。如果将库表分区都存储在一个表空间的话，其访问效率将会大打折扣。
现有技术中，在分区定义时，往往是根据某种方式随机指定一个表空间进行存储，缺少一定的规律性，同时也很难实现输入/输出负载分担，从而减少并发访问对资源的争占。当库表的数据量和并发访问量比较大时，会严重影响系统的性能。
发明内容
为解决以上技术问题，本发明实施例提供了一种库表分区代码存储方法及装置，以实现分区库表在表空间中的规则存储，提高访问效率。
本发明实施例所提供的技术方案如下：
一种库表分区代码存储方法，包括：
创建库表分区存储模型；
根据预先设置的分区存储规则，确定库表分区的存储空间；
确定库表分区索引的存储规则；
获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
一种库表分区代码存储装置，包括：
存储模型创建单元，用于创建库表分区存储模型；
存储空间确定单元，用于根据预先设置的分区存储规则，确定库表分区的存储空间；
存储规则确定创建单元，用于确定库表分区索引的存储规则；
存储单元，用于在获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
本发明所提供的技术方案，针对实际业务生成完整的分区存储规则，用户基本不需要编码或者只需要进行少量的修改就可以现实业务应用中的分区库表、分区索引的存储表空间指定工作。分区库表在表空间中的按照一定的规则存储，从而实现输入/输出负载分担，减少并发访问对资源的争占，提高访问效率。
附图说明
图1为本发明一种库表分区代码存储方法的流程图；
图2为图1中S101的具体实现流程图；
图3为图1中S104的存储库表分区代码的示意图；
图4为本发明一种库表分区代码存储装置的结构示意图。
具体实施方式
营销业务应用中有较多的库表可以作为分区库表管理，而且这些库表大都具有数据量大、按月使用、按月数据量翻倍等特点。这样的库表在做分区处理时，需要针对月份和供电单位进行分区，当单位很多、要求保留数据的年份较多时，分区数目往往会比较庞大，整个数据库的分区数可能有好几万个，为分区存储的实现造成很大的困难。如何将这些分区合理地存放在相应的表空间上，是当前急需解决的问题。由于营销业务应用的特点是必须保持24小时运行，分区数的增加按照表空间数对应增长的方式是不可取的，因为表空间增加必然会对业务带来一定的影响。因此，需要找到某种方法来合理存储分区数据，以便于分区管理与维护。
分区存储方法是通过一种规则和算法，来解决分区库表存储问题，通过这种方式，能够对每个库表的每个分区应该存储到什么表空间进行指定，按照访问频率、并发操作的可能性，综合考虑，达到数据分离、输入/输出负载分担的目的，提高数据访问效率和数据存储效率。分区存储方法是一种基于模板应用的方法，不同网省可以根据网省代码应用模板，生成自己的分区存储规则。
为了使本技术领域的人员能够更好地理解本发明方案，下面将结合附图，对本发明的具体实施方式作进一步的详细说明。
参见图1所示，本发明实施例的一种库表分区代码存储方法，包括以下步骤：
S101，创建库表分区存储模型；
图2所示为S101的具体实现流程图，包括以下步骤：
S101a，创建月份模型，即1年中的12个月数据模型；
S101b，创建数据分区表空间存储模型；
S101c，创建供电单位模型；
S101d，创建索引分区表空间存储模型。
S102，根据预先设置的分区存储规则，确定库表分区的存储空间；
根据S101中所创建的模型，结合营销业务应用库表分区特点，根据预设的各个分区存储规则，完成库表分区存储表空间指定。分区存储规则可以包括以下方式：
A.当库表按照供电单位单独分区时，按照供电单位模型中地市编码规则顺序与数据分区表空间存储模型一一匹配，形成每个地市分区的存储表空间。当表空间存储模型中的表空间不够匹配时，采用循环的方式匹配表空间，以保证均匀访问和使用表空间。
B.当按照年月单独分区时，按照月份模型中月份顺序与数据分区表空间存储模型中表空间顺序一一匹配，形成每个月份分区的存储表空间；当数据分区表空间存储模型中表空间不够匹配时，则采用循环的方式匹配表空间，以保证均匀访问和使用表空间。
C.当按照供电单位和年月联合分区时，按照月份模型、供电单位模型、数据分区表空间存储模型，采用阶梯循环的方式进行匹配表空间，以达到数据均匀存储、同一时间段每个地市访问不同的表空间的目的。所谓阶梯循环存储方法是指：每个地市首先按照自己的编码规则按照月份模型开始匹配，比如地市1的1月份匹配表空间1，2月份匹配表空间2，直到12月份匹配完毕；那么地市2的1月份就该匹配表空间2，2月份匹配表空间3，直到12月份匹配完毕；其它地市以此类推，这样就形成了一个阶梯形状的数据存储方式；当阶梯往下进行时，走到梯底时，剩下的月份匹配又掉过头来顺序匹配，这样就形成了一种阶梯循环的方式。采用这种方式来指定每个分区存储的表空间能够避免对同一个表空间的争占，降低每个表空间的输入/输出资源，达到输入/输出负载分担和转移，提高数据访问效率。
S103，确定库表分区索引的存储规则；
确定分区索引的存储规则，完成整个库表分区表空间指定。索引分区表空间存储方法同S102中对数据分区的存储方式。
S104，获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
图3所示为S104的存储库表分区代码的示意图
通过配置获得网省代码后，对于每个网省库表分区存储的具体内容，则是通过为每种分区方式提供分区存储算法来决定的。
本发明把营销业务应用中常用的业务库表进行分析和提炼，抽象出三种分区规则：按照年月进行单独分区、按照供电单位进行单独分区、按照供电单位和年月联合分区。按照年月进行单独分区处理的，库表中的分区键都是按照年月的方式进行存放，需要指定分区的起始年月和需要做多少年的分区规划。按照供电单位单独分区的，供电单位都必须遵照统一的编码规则进行编码，需要指定地市供电单位编码。按照供电单位和年月联合分区的，需要同时指定供电单位编码和起始年月以及分区年数规划。在分区存储规则生成的过程中，需要根据这些参数信息，提取和生成分区对应的表空间。
分区存储算法模板中包含了上述三种分区方式的表空间存储框架，利用算法规则引擎生成分区存储表空间时需要结合网省代码参数信息来生成对应网省库表分区存储方法。
应用本发明技术方案，通过本发明，用户只需要提供网省公司代码，就可以针对当前营销业务应用生成一套完整的分区存储规则，用户基本不需要编码或者只需要进行少量的修改就可以现实营销业务应用中的分区库表、分区索引的存储表空间指定工作，这样可以让用户减少对分区存储工作的关注，而将大部分的精力投入到营销业务应用系统的优化与监控，从而减少分区带来的影响。
另一方面，通过应用本发明技术方案，也为营销业务应用数据库分区管理降低了难度，因为本发明是通过对营销业务应用的网省编码配置来自动匹配算法的，即使对数据库了解很少，只要输入网省公司代码，就可以生成所需要的分区存储规则。
相应于上面的方法实施例，本发明实施例还提供一种库表分区代码存储装置，参见图4所示，包括：
存储模型创建单元401，用于创建库表分区存储模型；
存储空间确定单元402，用于根据预先设置的分区存储规则，确定库表分区的存储空间；
存储规则确定创建单元403，用于确定库表分区索引的存储规则；
存储单元404，用于在获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
其中，所述存储模型创建单元401，可以包括：
月份模型创建子单元，用于创建月份模型；
数据分区表空间存储模型创建子单元，用于创建数据分区表空间存储模型；
供电单位模型创建子单元，用于创建供电单位模型；
索引分区表空间存储模型创建子单元，用于创建索引分区表空间存储模型。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种库表分区代码存储方法，其特征在于，包括：
创建库表分区存储模型；
根据预先设置的分区存储规则，确定库表分区的存储空间；
确定库表分区索引的存储规则；
获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
2.根据权利要求1所述的方法，其特征在于，所述创建库表分区存储模型，包括：
创建月份模型；
创建数据分区表空间存储模型；
创建供电单位模型；
创建索引分区表空间存储模型。
3.根据权利要求1所述的方法，其特征在于，所述配置代码参数，包括网省代码。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述预先设置的分区规则，包括：
按照供电单位进行单独分区、按照年月进行单独分区、或按照供电单位和年月联合分区。
5.根据权利要求4所述的方法，其特征在于，
当库表按照供电单位单独分区时，按照供电单位模型中地市编码规则顺序与数据分区表空间存储模型一一匹配，形成每个地市分区的存储表空间；当表空间存储模型中的表空间不够匹配时，采用循环的方式匹配表空间。
6.根据权利要求4所述的方法，其特征在于，
当按照年月单独分区时，按照月份模型中月份顺序与数据分区表空间存储模型中表空间顺序一一匹配，形成每个月份分区的存储表空间；当数据分区表空间存储模型中表空间不够匹配时，采用循环的方式匹配表空间。
7.根据权利要求4所述的方法，其特征在于，
当按照供电单位和年月联合分区时，按照月份模型、供电单位模型、数据分区表空间存储模型，采用阶梯循环的方式进行匹配表空间。
8.一种库表分区代码存储装置，其特征在于，包括：
存储模型创建单元，用于创建库表分区存储模型；
存储空间确定单元，用于根据预先设置的分区存储规则，确定库表分区的存储空间；
存储规则确定创建单元，用于确定库表分区索引的存储规则；
存储单元，用于在获得配置代码参数后，根据所确定的库表分区的存储空间及定库表分区索引的存储规则，对库表分区代码进行存储。
9.根据权利要求8所述的装置，其特征在于，所述存储模型创建单元，包括：
月份模型创建子单元，用于创建月份模型；
数据分区表空间存储模型创建子单元，用于创建数据分区表空间存储模型；
供电单位模型创建子单元，用于创建供电单位模型；
索引分区表空间存储模型创建子单元，用于创建索引分区表空间存储模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910242791A CN101727489A (zh) | 2009-12-17 | 2009-12-17 | 一种库表分区代码存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910242791A CN101727489A (zh) | 2009-12-17 | 2009-12-17 | 一种库表分区代码存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101727489A true CN101727489A (zh) | 2010-06-09 |
Family
ID=42448375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910242791A Pending CN101727489A (zh) | 2009-12-17 | 2009-12-17 | 一种库表分区代码存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101727489A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799628A (zh) * | 2012-06-21 | 2012-11-28 | 新浪网技术(中国)有限公司 | 在key-value数据库中进行数据分区的方法和装置 |
| CN106570782A (zh) * | 2016-10-26 | 2017-04-19 | 国家电网公司 | 电网设备拓扑数据分区方法存储及其系统 |
| CN108664567A (zh) * | 2018-04-24 | 2018-10-16 | 中国银行股份有限公司 | 一种基于数据表分区的数据采集方法及系统 |
| CN110134683A (zh) * | 2019-04-23 | 2019-08-16 | 中国地质大学（武汉） | 关系数据库中海量要素存储的分区优化研究方法及系统 |
-
2009
- 2009-12-17 CN CN200910242791A patent/CN101727489A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799628A (zh) * | 2012-06-21 | 2012-11-28 | 新浪网技术(中国)有限公司 | 在key-value数据库中进行数据分区的方法和装置 |
| CN106570782A (zh) * | 2016-10-26 | 2017-04-19 | 国家电网公司 | 电网设备拓扑数据分区方法存储及其系统 |
| CN108664567A (zh) * | 2018-04-24 | 2018-10-16 | 中国银行股份有限公司 | 一种基于数据表分区的数据采集方法及系统 |
| CN108664567B (zh) * | 2018-04-24 | 2022-03-04 | 中国银行股份有限公司 | 一种基于数据表分区的数据采集方法及系统 |
| CN110134683A (zh) * | 2019-04-23 | 2019-08-16 | 中国地质大学（武汉） | 关系数据库中海量要素存储的分区优化研究方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105005570B (zh) | 基于云计算的海量智能用电数据挖掘方法及装置 | |
| CN101937474A (zh) | 海量数据查询方法及设备 | |
| CN103020158A (zh) | 一种报表创建方法、装置和系统 | |
| CN110032591A (zh) | 一种资产大数据智能分析方法 | |
| CN104253831A (zh) | 一种用于在云计算环境中部署应用的方法和系统 | |
| CN108268565B (zh) | 基于数据仓库处理用户浏览行为数据的方法及系统 | |
| CN103365971A (zh) | 基于云计算的海量数据访问处理系统 | |
| CN104111936B (zh) | 数据查询方法和系统 | |
| CN102117303A (zh) | 一种专利数据分析方法和系统 | |
| CN110119393A (zh) | 代码版本管理系统及方法 | |
| CN102902777A (zh) | 跨数据源查询装置和跨数据源查询方法 | |
| CN102436503A (zh) | 数据条件过滤筛选方法及筛选器 | |
| CN101727489A (zh) | 一种库表分区代码存储方法及装置 | |
| CN101655942A (zh) | 业务协同流程配置、业务协同方法及装置 | |
| CN104598540A (zh) | 定时数据迁移装置及其使用方法 | |
| CN107483567A (zh) | 一种分布式日志搜索的方法及系统 | |
| CN111898007A (zh) | 一种变电站的三维场景模型构建系统及方法 | |
| CN104050193B (zh) | 生成报文的方法和实现该方法的数据处理系统 | |
| CN104715420A (zh) | 电力工程数据的处理方法及装置 | |
| CN108628972A (zh) | 一种数据表的处理方法、装置及存储介质 | |
| CN102222112A (zh) | 资源管理装置和资源管理方法 | |
| CN102932416A (zh) | 一种信息流任务的中间数据存储方法、处理方法及装置 | |
| CN105138643A (zh) | 专利检索系统及其检索方法 | |
| CN107704585A (zh) | 一种查询hdfs数据方法及系统 | |
| Tseng et al. | A successful application of big data storage techniques implemented to criminal investigation for telecom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100609 |