CN103092867A - 一种数据管理方法及系统、数据分析装置 - Google Patents
一种数据管理方法及系统、数据分析装置 Download PDFInfo
- Publication number
- CN103092867A CN103092867A CN201110344089XA CN201110344089A CN103092867A CN 103092867 A CN103092867 A CN 103092867A CN 201110344089X A CN201110344089X A CN 201110344089XA CN 201110344089 A CN201110344089 A CN 201110344089A CN 103092867 A CN103092867 A CN 103092867A
- Authority
- CN
- China
- Prior art keywords
- access object
- data
- sql statement
- access
- accessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013523 data management Methods 0.000 claims abstract description 13
- 230000002085 persistent effect Effects 0.000 claims abstract description 11
- 238000007405 data analysis Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 8
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 9
- 230000026676 system process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据管理方法及系统、数据分析装置。其中该方法包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。本发明通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。
Description
技术领域
本发明涉及一种数据管理技术，尤其涉及一种数据管理方法及系统、数据分析装置。
背景技术
随着我国电信行业的高速发展，特别是移动通信用户和宽带用户的不断增长，各家电信运营商存储和管理着各种各样的海量的数据。数据生命周期管理是解决海量数据管理的有效途径。
由于传统的数据生命周期管理在定义数据生命时仅仅依据时间维度，具体的，就是将数据的生命周期管理简单的按照时间先后来进行，诸如账单、详单、交易记录等具有时间标签的对象，按照时间先后分别进行备份、归档、历史数据迁移等具体操作。
现有的按照时间维度实现数据生命周期管理的方法存在以下缺陷：
1、适用性差
按照时间维度对数据进行管理的前提是数据具备如账单、交易纪律等有时间标签，对于那些本身无时间标签的数据，就无法按照传统方法进行生命周期管理。
对于这些自身无时间标签的数据目前没有办法进行处理，只能像堆柴火一样存储在线存储中，日积月累的简单堆放，即占用了宝贵的在线高端存储资源，同时对于数据管理软件，如数据库等的日常运行造成很大的压力。这些随意存放的数据没有人能说清楚到底是否在用、到底能不能进行备份、归档和删除的维护操作。
2、系统处理响应时间长，速度慢
按照时间维度进行了生命周期管理的数据何时要被再次使用到或者何时需要在线访问都是不可知的。系统所需调用的数据可能存储在不同级别的存储资源上，系统调用数据速度慢，花费的响应时间较长。
3、需要大量高端存储设备，成本高
为了降低系统的处理响应时间，需要将大量的数据存储到在线高端存储设备上，对在线高端存储设备的存储空间要求较大，使得管理海量数据的成本大大增加。
发明内容
本发明的目的在于，提供一种数据管理方法及系统、数据分析装置，准确发现系统中使用频率较高的热点数据。
为实现上述目的，根据本发明的一个方面，提供一种数据管理方法，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。
另外，所述分解所述SQL语句后还包括：
存储分解得到的所述SQL语句的各要素，包括：Dbname、快照序号、语句类型和访问对象。
优选地，该方法还包括：根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
更优地，该方法还包括：根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
更优地，该方法还包括：记录所述访问对象的被访问时间、被访问次数及对象名称；计算每个周期内所述访问对象的平均被访问次数；根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。
该方法还包括分别对不同档的访问对象进行相应的处理，包括：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。
在所述分解存储的SQL语句的操作之前还包括：对所述SQL语句进行错误语句过滤。
为实现上述目的，根据本发明的另一个方面，提供一种数据分析装置，包括：分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；记录模块，用于记录在预设时间内各个访问对象的被访问次数；提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据。
另外，该装置还包括：划分模块，用于根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
优选地，该装置还包括：图谱生成模块，用于根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
更优地，该装置还包括：计算模块和预测模块，其中，所述记录模块，记录各个访问对象的被访问时间、被访问次数及对象名称；所述计算模块，用于计算每个周期内所述访问对象的平均被访问次数；所述预测模块，用于根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。
更优地，该装置还包括：过滤模块，用于在分解SQL语句之前，对所述SQL语句进行错误语句过滤。
为实现上述目的，根据本发明的另一个方面，提供一种数据管理系统，包括：采集装置，用于采集应用程序执行过的SQL语句；持久化存储装置，用于对所述SQL语句进行持久化存储；数据分析装置，用于分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。
该系统还包括：数据处理装置，其中，数据分析装置，进一步根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷；数据处理装置，分别对不同档的访问对象进行相应的处理：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。
本发明的数据管理方法及系统、数据分析装置，通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。
附图说明
图1是本发明数据管理方法实施例的流程图；
图2是本发明“数据使用温度图谱”的示意图；
图3是本发明热点数据预测实施例的流程图；
图4是本发明数据分析装置实施例的结构图；
图5是本发明数据管理系统实施例的结构图。
具体实施方式
热点数据是经常被用到的数据。数据只有被使用的时候才能体现其价值。在一定时间内数据被使用的次数能直接体现数据“冷”“热”程度。一定时间范围内的热点数据是系统中最有价值的数据，是系统中生命力最旺盛的数据。
在存储硬件设备层面，目前已经有成熟的热点数据发现技术，但是这种技术是基于存储设备的磁盘层面的，无法体现逻辑层面的对象(如表、索引等)的“冷热”程度，具有一定的局限性。
数据最终是被应用程序使用的，应用程序使用SQL语言来进行数据的访问，为此，可以通过记录分析一定时间内数据库层执行的应用SQL中访问到的数据对象来间接找到数据库中的热点对象。
以下结合附图对本发明进行详细说明。
方法实施例
如图1所示，本发明数据管理方法实施例的具体流程如下：
S102，采集应用程序执行过的SQL语句；
S104，对采集的SQL语句进行持久化存储；
数据库对于应用程序执行的SQL是记录在内存中的，每次数据库重启后所有重启前的SQL都是无法查到的。为了能全面分析执行过的SQL语句，需要实时将这些内存中记录的SQL语句进行持久化存储，如写入磁盘中，保存到现有的数据库中。
S106，分解SQL语句，得到SQL语句的访问对象；
分解SQL语句得到的各要素至少包括：Dbname、快照序号、语句类型和访问对象。还可以包括Where条件、索引名称、执行计划等信息。
将SQL语句的各要素作为一个字段保存，存储SQL的表结构如下：
| Dbname | 快照序号 | 语句类型 | 访问对象 | Where条件 | 索引名称 | 执行计划 |
上述各个要素的含义为：
语句类型：query，dml，ddl
S108，记录在预设时间内各个访问对象的被访问次数；
S110，根据被访问次数阈值提取相应的访问对象作为热点数据。
优选地，本实施例中，将访问对象被访问次数作为访问对象的“热度”，可以进一步根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
优选地，在S106之前还包括：对所述SQL语句进行错误语句过滤。
如图2所示，可以根据访问对象的被访问次数形成“数据使用温度图谱”，在图谱中用数字体现访问对象的被使用频繁度，例如，很热-1、热-2、温-3、凉-4、冷-5。也可以利用不同颜色，或颜色的深浅体现访问对象的被使用频繁度。“数据使用温度图谱”是将一定时间内数据被使用的频率作为访问对象的属性利用图像进行直观的体现。
更优地，如图3所示，根据上述对SQL访问对象被访问次数的分析，可以对未来一段时间热点数据出现的位置进行预测，具体步骤如下：
s201，记录访问对象的被访问时间、被访问次数及对象名称；
s202，计算每个周期内访问对象的平均被访问次数；
设在周期Ti时间内，访问对象m被访问了qi次，那么访问对象m的在周期T内平均被访问次数(即“热度”)Hm，T可以用下面的公式获得：
Hm，T＝(q1+q2+q3+…+qi)/i。
s203，根据每个周期内访问对象的“热度”，预测未来周期内热点数据出现的位置。
根据每个周期内访问对象的“热度”形成“数据使用温度图谱”，对象m在周期Ti内的“热度”即可通过“数据使用温度图谱”查询获得。
本实施例中，可以利用数据的冷热来准确定义数据的生命周期，在此基础上，结合现有的数据处理方法，形成基于热点数据的数据生命周期管理。分别对不同档的访问对象进行相应的处理，包括：
对于很热的访问对象，存储到固态硬盘或者cache在内存中；
对于热的访问对象，进行在线高端存储；
对于凉的访问对象，进行数据归档；
本实施例的数据管理方法，通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。
装置实施例
如图4所示，本发明数据分析装置实施例包括：
分解模块31，用于分解SQL语句，得到所述SQL语句的访问对象；
记录模块32，用于记录在预设时间内各个访问对象的被访问次数；
提取模块33，用于根据被访问次数阈值提取相应的访问对象作为热点数据。
优选地，本实施例数据分析装置还包括：划分模块34，用于根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
更优地，本实施例还包括：图谱生成模块35，用于根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
更优地，本实施例数据分析装置还包括：计算模块36和预测模块37，其中，记录模块32，记录各个访问对象的被访问时间、被访问次数及对象名称；计算模块36，用于计算每个周期内所述访问对象的平均被访问次数；预测模块37，用于根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。
优选地，本实施例还包括：过滤模块38，用于在分解SQL语句之前，对SQL语句进行错误语句过滤。
本实施例中，数据分析装置各个模块的工作方式在上述方法实施例中已详细描述，在此不再赘述。
本实施例的数据分析装置，通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。
系统实施例
如图5所示，本发明数据管理系统实施例包括：
采集装置51，用于采集应用程序执行过的SQL语句；
持久化存储装置52，用于对SQL语句进行持久化存储；
数据分析装置53，用于分解SQL语句，得到SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。
本实施例还包括：数据处理装置54，其中，数据分析装置53，进一步根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷；数据处理装置54，分别对不同档的访问对象进行如下处理：
对于很热的访问对象，存储到固态硬盘或者cache在内存中；
对于热的访问对象，进行在线高端存储；
对于温的访问对象，进行在线中低端存储；
对于凉的访问对象，进行数据归档；
对于冷的访问对象，迁移历史库或离线存放。
本实施例的数据管理系统，通过对应用程序执行过的SQL语句进行分析，获得SQL语句访问对象的被访问次数，从而获得热点数据。通过在数据应用层面发现热点数据，准确地体现逻辑层面的对象(如表、索引等)的使用情况，进而可以准确地对热点数据进行管理，减少系统处理响应时间，提高系统处理相应速度，减少高端存储设备的需求，降低海量数据管理成本。
应说明的是：以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。
Claims (14)
1.一种数据管理方法，其特征在于，包括：
采集应用程序执行过的SQL语句，并进行持久化存储；
分解所述SQL语句，得到所述SQL语句的访问对象；
记录在预设时间内各个访问对象的被访问次数；
根据被访问次数阈值提取相应的访问对象作为热点数据。
2.根据权利要求1所述的数据管理方法，其特征在于，所述分解所述SQL语句后还包括：
存储分解得到的所述SQL语句的各要素，至少包括：Dbname、快照序号、语句类型和访问对象。
3.根据权利要求1所述的数据管理方法，其特征在于，还包括：
根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
4.根据权利要求3所述的数据管理方法，其特征在于，还包括：
根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
5.根据权利要求1至4中任意一项所述的数据管理方法，其特征在于，还包括：
记录所述访问对象的被访问时间、被访问次数及对象名称；
计算每个周期内所述访问对象的平均被访问次数；
根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。
6.根据权利要求3所述的数据管理方法，其特征在于，还包括：分别对不同档的访问对象进行相应的处理，包括：
对于很热的访问对象，存储到固态硬盘或者cache在内存中；
对于热的访问对象，进行在线高端存储；
对于温的访问对象，进行在线中低端存储；
对于凉的访问对象，进行数据归档；
对于冷的访问对象，迁移历史库或离线存放。
7.根据权利要求3所述的数据管理方法，其特征在于，所述分解存储的SQL语句的操作之前还包括：
对所述SQL语句进行错误语句过滤。
8.一种数据分析装置，其特征在于，包括：
分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；
记录模块，用于记录在预设时间内各个访问对象的被访问次数；
提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据。
9.根据权利要求8所述的数据分析装置，其特征在于，还包括：
划分模块，用于根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。
10.根据权利要求9所述的数据分析装置，其特征在于，还包括：图谱生成模块，用于根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
11.根据权利要求8至10中任意一项所述的数据分析装置，其特征在于，还包括：计算模块和预测模块，其中，
所述记录模块，记录各个访问对象的被访问时间、被访问次数及对象名称；
所述计算模块，用于计算每个周期内所述访问对象的平均被访问次数；
所述预测模块，用于根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。
12.根据权利要求8至10中任意一项所述的数据分析装置，其特征在于，还包括：过滤模块，用于在分解SQL语句之前，对所述SQL语句进行错误语句过滤。
13.一种数据管理系统，其特征在于，包括：
采集装置，用于采集应用程序执行过的SQL语句；
持久化存储装置，用于对所述SQL语句进行持久化存储；
数据分析装置，用于分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。
14.根据权利要求13所述的数据管理系统，其特征在于，还包括：数据处理装置，
所述数据分析装置，进一步根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷；
所述数据处理装置，分别对不同档的访问对象进行相应的处理：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110344089.XA CN103092867B (zh) | 2011-11-03 | 2011-11-03 | 一种数据管理方法及系统、数据分析装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110344089.XA CN103092867B (zh) | 2011-11-03 | 2011-11-03 | 一种数据管理方法及系统、数据分析装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103092867A true CN103092867A (zh) | 2013-05-08 |
| CN103092867B CN103092867B (zh) | 2017-02-01 |
Family
ID=48205447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110344089.XA Expired - Fee Related CN103092867B (zh) | 2011-11-03 | 2011-11-03 | 一种数据管理方法及系统、数据分析装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103092867B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104424361A (zh) * | 2013-09-04 | 2015-03-18 | 国际商业机器公司 | 自动定义热存储和大工作负载 |
| CN105164658A (zh) * | 2013-07-31 | 2015-12-16 | 惠普发展公司，有限责任合伙企业 | 生成工作负载窗口 |
| CN105335426A (zh) * | 2014-08-07 | 2016-02-17 | 腾讯科技（深圳）有限公司 | 一种海量数据的热点数据的分析方法、系统及相关设备 |
| CN105426377A (zh) * | 2014-09-23 | 2016-03-23 | 中国移动通信集团广西有限公司 | 一种数据管理方法及其装置、系统 |
| CN105493024A (zh) * | 2014-11-28 | 2016-04-13 | 华为技术有限公司 | 一种数据阈值预测方法与相关装置 |
| CN105797381A (zh) * | 2014-12-30 | 2016-07-27 | 博雅网络游戏开发（深圳）有限公司 | 游戏冷数据的存储、读取方法和装置 |
| CN105930370A (zh) * | 2016-04-13 | 2016-09-07 | 曙光信息产业(北京)有限公司 | 数据的监控方法及装置 |
| CN106557578A (zh) * | 2016-11-23 | 2017-04-05 | 中国工商银行股份有限公司 | 历史数据查询方法及系统 |
| CN107292388A (zh) * | 2017-06-27 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种基于神经网络的热点数据的预测方法及系统 |
| CN107463514A (zh) * | 2017-08-16 | 2017-12-12 | 郑州云海信息技术有限公司 | 一种数据存储方法及装置 |
| CN108052394A (zh) * | 2017-12-27 | 2018-05-18 | 福建星瑞格软件有限公司 | 基于sql语句运行时间的资源分配的方法及计算机设备 |
| CN108241691A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 热点查询数据的搜集方法和装置 |
| CN108255478A (zh) * | 2018-01-19 | 2018-07-06 | 上海锐垚科技有限公司 | 一种标签式模板开发方法 |
| CN108920607A (zh) * | 2018-06-27 | 2018-11-30 | 中国建设银行股份有限公司 | 字段发现方法、装置及电子设备 |
| CN111291040A (zh) * | 2018-12-10 | 2020-06-16 | 中国移动通信集团四川有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111324604A (zh) * | 2020-01-19 | 2020-06-23 | 拉扎斯网络科技（上海）有限公司 | 数据库表的处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101369451A (zh) * | 2007-08-14 | 2009-02-18 | 三星电子株式会社 | 固态存储器、包含其的计算机系统和操作其的方法 |
| CN102054043A (zh) * | 2010-12-30 | 2011-05-11 | 畅捷通软件有限公司 | 大数据生成方法和装置 |
| CN102129472A (zh) * | 2011-04-14 | 2011-07-20 | 上海红神信息技术有限公司 | 面向语义搜索引擎的高效混合存储结构的构建方法 |
-
2011
- 2011-11-03 CN CN201110344089.XA patent/CN103092867B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101369451A (zh) * | 2007-08-14 | 2009-02-18 | 三星电子株式会社 | 固态存储器、包含其的计算机系统和操作其的方法 |
| CN102054043A (zh) * | 2010-12-30 | 2011-05-11 | 畅捷通软件有限公司 | 大数据生成方法和装置 |
| CN102129472A (zh) * | 2011-04-14 | 2011-07-20 | 上海红神信息技术有限公司 | 面向语义搜索引擎的高效混合存储结构的构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许诺: "一种基于频度的自适应数据分级策略", 《科协论坛》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105164658A (zh) * | 2013-07-31 | 2015-12-16 | 惠普发展公司，有限责任合伙企业 | 生成工作负载窗口 |
| CN104424361B (zh) * | 2013-09-04 | 2017-12-19 | 国际商业机器公司 | 自动定义热存储和大工作负载 |
| CN104424361A (zh) * | 2013-09-04 | 2015-03-18 | 国际商业机器公司 | 自动定义热存储和大工作负载 |
| CN105335426A (zh) * | 2014-08-07 | 2016-02-17 | 腾讯科技（深圳）有限公司 | 一种海量数据的热点数据的分析方法、系统及相关设备 |
| CN105335426B (zh) * | 2014-08-07 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 一种海量数据的热点数据的分析方法、系统及相关设备 |
| CN105426377A (zh) * | 2014-09-23 | 2016-03-23 | 中国移动通信集团广西有限公司 | 一种数据管理方法及其装置、系统 |
| CN105493024B (zh) * | 2014-11-28 | 2019-03-08 | 华为技术有限公司 | 一种数据阈值预测方法与相关装置 |
| CN105493024A (zh) * | 2014-11-28 | 2016-04-13 | 华为技术有限公司 | 一种数据阈值预测方法与相关装置 |
| CN105797381A (zh) * | 2014-12-30 | 2016-07-27 | 博雅网络游戏开发（深圳）有限公司 | 游戏冷数据的存储、读取方法和装置 |
| CN105930370A (zh) * | 2016-04-13 | 2016-09-07 | 曙光信息产业(北京)有限公司 | 数据的监控方法及装置 |
| CN106557578A (zh) * | 2016-11-23 | 2017-04-05 | 中国工商银行股份有限公司 | 历史数据查询方法及系统 |
| CN108241691A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 热点查询数据的搜集方法和装置 |
| CN107292388A (zh) * | 2017-06-27 | 2017-10-24 | 郑州云海信息技术有限公司 | 一种基于神经网络的热点数据的预测方法及系统 |
| CN107463514A (zh) * | 2017-08-16 | 2017-12-12 | 郑州云海信息技术有限公司 | 一种数据存储方法及装置 |
| CN108052394A (zh) * | 2017-12-27 | 2018-05-18 | 福建星瑞格软件有限公司 | 基于sql语句运行时间的资源分配的方法及计算机设备 |
| CN108255478A (zh) * | 2018-01-19 | 2018-07-06 | 上海锐垚科技有限公司 | 一种标签式模板开发方法 |
| CN108920607A (zh) * | 2018-06-27 | 2018-11-30 | 中国建设银行股份有限公司 | 字段发现方法、装置及电子设备 |
| CN111291040A (zh) * | 2018-12-10 | 2020-06-16 | 中国移动通信集团四川有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111291040B (zh) * | 2018-12-10 | 2022-10-18 | 中国移动通信集团四川有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN111324604A (zh) * | 2020-01-19 | 2020-06-23 | 拉扎斯网络科技（上海）有限公司 | 数据库表的处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103092867B (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103092867B (zh) | 一种数据管理方法及系统、数据分析装置 | |
| CN102521406B (zh) | 海量结构化数据复杂查询任务的分布式查询方法和系统 | |
| CN102521405B (zh) | 支持高速加载的海量结构化数据存储、查询方法和系统 | |
| CN105528367B (zh) | 基于开源大数据对时间敏感数据的存储和近实时查询方法 | |
| CN101216821B (zh) | 数据采集系统的存储管理方法 | |
| CN102902752B (zh) | 一种日志监控方法及系统 | |
| CN102662974B (zh) | 一种基于邻接节点树的网络图索引方法 | |
| CN107515927A (zh) | 一种房地产用户行为分析平台 | |
| CN106528717A (zh) | 数据处理方法和系统 | |
| CN105279276A (zh) | 一种数据库索引优化系统 | |
| CN101510209A (zh) | 实现实时检索的方法、系统和服务器 | |
| CN106528787A (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
| CN106528847A (zh) | 一种海量数据的多维度处理方法及系统 | |
| CN102332004B (zh) | 用于海量数据管理的数据处理方法和系统 | |
| CN102521374A (zh) | 基于关系型联机分析处理的智能数据聚集方法及其系统 | |
| CN105138621A (zh) | 一种Sybase ASE数据库配置优化系统及方法 | |
| CN103440249A (zh) | 一种非结构化数据快速检索的系统及方法 | |
| CN103092997A (zh) | 用于报表分析的联动查询系统和联动查询方法 | |
| US11829377B2 (en) | Efficient storage method for time series data | |
| CN106682061A (zh) | 一种分布式起源数据收集与存储系统 | |
| CN104376119A (zh) | 一种适应超大规模列存数据库的数据访问方法及装置 | |
| KR101666440B1 (ko) | 환형큐 기반의 인-메모리 데이터베이스 시스템에서의 데이터 처리방법 | |
| CN106919566A (zh) | 一种基于海量数据的查询统计方法及系统 | |
| US20160078071A1 (en) | Large scale offline retrieval of machine operational information | |
| CN105653654A (zh) | 一种抽奖资格索引系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170201 |