CN105069117A - 一种基于存储过程的数据流效率提升方法 - Google Patents
一种基于存储过程的数据流效率提升方法 Download PDFInfo
- Publication number
- CN105069117A CN105069117A CN201510490016.XA CN201510490016A CN105069117A CN 105069117 A CN105069117 A CN 105069117A CN 201510490016 A CN201510490016 A CN 201510490016A CN 105069117 A CN105069117 A CN 105069117A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- storing process
- method based
- described step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title abstract description 3
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 241001269238 Data Species 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于存储过程的数据流效率提升方法，包括以下步骤：对应用服务器进行遍历，采集各个时段的用户数量和服务器的资源利用率，选择出最优处理时间；对数据进行预处理，对用户需要处理的数据提前进行分部计算，排除基础数据表中无用数据；根据用户需求对数据进行分析组合，根据不同数据库语言语法规则对SQL程序进行优化使得SQL对数据的统计速度更快，效率更高；将整理后数据作为一个结果集，存储到数据库新建数据表中，供用户查询；用户直接对中间表数据进行统计或检索，节省大量的数据运算时间，服务器端压力减小，提高系统的性能，提升用户的评价。
Description
技术领域
本发明涉及一种基于存储过程的数据流效率提升方法。
背景技术
在数据量较大的情况下提升查询效率，通过存储过程将需要处理的数据提前进行相应运算及抽取并保存到中间表，以便于优化查询效率。
大型软件工程与普通网站不同，大型软件工程数据库存储的数据量非常大，特别是一张表中存储上亿条数据。当用户对此表进行统计或检索的时候，客户端就会出现使用户长时间等待的状态；而且数据库服务器端进行大数据量的运算会影响到其他用户对本工程的操作处理；由于大批量无用功数据运算导致系统效率下降，客户评价不好；最坏的结果会使项目因为此问题而终止。
在一些商用的数据存储软件(例如：sqlserver、mysql、db2、oracle等主流软件)中有一些供开发人员使用的优化的接口(例如：创建索引、创建表分区、创建视图等)，但这些接口的局限性很大，在漫长的开发过程中尾随着需求的变化，对应之前一些按接口规则开发的代码，之后便会慢慢不适应这些接口的规则。而且这些用接口做的数据优化要定期的进行维护，所以这些优化的接口即结构复杂也满足不了客户的需求。
发明内容
本发明为了解决上述问题，提出了一种基于存储过程的数据流效率提升方法，该方法使用数据优化技术直接改变用户统计或检索的对象；将大数据量表根据用户需求进行一次半成品的筛选计算，去除一些对用户需求中不涉及的无效数据，然后对剩余数据进行运算得出介于原始数据与用户端展示数据之间的中间表数据。
为了实现上述目的，本发明采用如下技术方案：
一种基于存储过程的数据流效率提升方法，包括以下步骤：
(1)对应用服务器进行遍历，采集各个时段的用户数量和服务器的资源利用率，选择出最优处理时间；
(2)对数据进行预处理，对用户需要处理的数据提前进行分部计算，排除基础数据表中无用数据；
(3)根据用户需求对数据进行分析组合，根据不同数据库语言语法规则对SQL程序进行优化，加快SQL对数据的统计速度；
(4)将组合整理后数据作为一个结果集，存储到数据库新建数据表中，供用户查询。
所述步骤(1)中，其具体方法为：人工评估该系统用户量在哪个时间段内使用量最少，及服务器哪个时间段内资源最充分，能够支撑存储过程中大数据计算的算法所需的资源预期选择定时任务执行的时间段。
所述步骤(1)中，所需的资源包括但不限于内存、硬存和CPU。
所述步骤(1)中，任务执行的时间段以数据库服务器时间为准。
所述步骤(2)中，分部计算的具体方法为：需求文档中要求某一张数据表中某一部分数据的展现，其他部分数据在当前需求中就成为无用数据，对于这些数据进行预处理排除。
所述步骤(3)中，分析组合的具体方法为：包含对数据表中数据的预处理，通过SQL语句对无用的数据进行排除，然后得出多个数据集合，根据用户需求对多个数据集合进行关联编写SQL程序。
所述步骤(3)中，需要对数据处理的SQL语句进行管理，创建定时任务来定时的执行创建的存储过程。
所述步骤(4)中，对于数据量一直处于增长状态的数据基础表我们采用增量方式更新中间表数据，对于数据变化不大或基本不变的数据基础表进行全量的更新。
本发明的有益效果为：
1.用户直接对中间表数据进行统计或检索，节省大量的数据运算时间，服务器端压力减小，提高系统的性能，提升用户的评价。
附图说明
图1为数据处理流程图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
如图1所示，一种基于存储过程的数据流效率提升方法，包括以下步骤：
(1)对应用服务器进行遍历，采集各个时段的用户数量和服务器的资源利用率，选择出最优处理时间；
(2)对数据进行预处理，对用户需要处理的数据提前进行分部计算，排除基础数据表中无用数据；
(3)根据用户需求对数据进行分析组合，根据不同数据库语言语法规则对SQL程序进行优化使得SQL对数据的统计速度更快，效率更高；
(4)将整理后数据作为一个结果集，存储到数据库新建数据表中，供用户查询。
所述步骤(1)中，其具体方法为：人工评估该系统用户量在哪个时间段内使用量最少，及服务器哪个时间段内资源最充分，能够支撑存储过程中大数据计算的算法所需的资源预期选择定时任务执行的时间段。
所述步骤(1)中，所需的资源包括但不限于内存、硬存、CPU。
所述步骤(1)中，任务执行的时间段以数据库服务器时间为准。
所述步骤(2)中，分部计算的具体方法为：需求文档中要求某一张数据表中某一部分数据的展现，其他部分数据在当前需求中就成为无用数据，对于这些数据进行预处理排除。
所述步骤(3)中，分析组合的具体方法为：包含对数据表中数据的预处理，通过SQL语句对无用的数据进行排除，然后得出多个数据集合，根据用户需求对多个数据集合进行关联编写SQL程序。
所述步骤(3)中，需要对数据处理的SQL语句进行管理，创建定时任务来定时的执行创建的存储过程。
所述步骤(4)中，对于数据量一直处于增长状态的数据基础表我们采用增量方式更新中间表数据，对于数据变化不大或基本不变的数据基础表进行全量的更新。
本发明采用集中时间、提前处理的策略。
集中时间：选择一个用户量最少的、能够完成数据计算的时间段，对源数据进行处理。由于大数量运算会占用服务器大量的资源，很多用户同时也在对该系统进行操作，那么会导致用户提交请求等待时间过长或使系统出现异常情况。
提前处理：对用户要处理的数据提前运算处理，生成半成品数据。利用时间将数据运算分部计算。这样就解决了用户提交请求后因数据计算导致等待时间过长的问题。
具体实现：根据用户需求对某些表数据进行分析组合，不需要用户端展示的数据暂时不取。获取到组合数据后，对数据按着用户需求的计算规则来处理，将处理后结构保存在一张临时表中(即中间表)。
创建存储过程对源数据进行组合及运算。将运算完成的中间数据存储在中间表中。
创建定时器调用存储过程程序。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于存储过程的数据流效率提升方法，其特征是：包括以下步骤：
(1)对应用服务器进行遍历，采集各个时段的用户数量和服务器的资源利用率，选择出最优处理时间；
(2)对数据进行预处理，对用户需要处理的数据提前进行分部计算，排除基础数据表中无用数据；
(3)根据用户需求对数据进行分析组合，根据不同数据库语言语法规则对SQL程序进行优化，加快SQL对数据的统计速度；
(4)将整理后数据作为一个结果集，存储到数据库新建数据表中，供用户查询。
2.如权利要求1所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(1)中，其具体方法为：人工评估该系统用户量在哪个时间段内使用量最少，及服务器哪个时间段内资源最充分，能够支撑存储过程中大数据计算的算法所需的资源预期选择定时任务执行的时间段。
3.如权利要求2所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(1)中，所需的资源包括但不限于内存、硬存、CPU。
4.如权利要求3所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(1)中，任务执行的时间段以数据库服务器时间为准。
5.如权利要求1所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(2)中，分部计算的具体方法为：需求文档中要求某一张数据表中某一部分数据的展现，其他部分数据在当前需求中就成为无用数据，对于这些数据进行预处理排除。
6.如权利要求1所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(3)中，分析组合的具体方法为：包含对数据表中数据的预处理，通过SQL语句对无用的数据进行排除，然后得出多个数据集合，根据用户需求对多个数据集合进行关联编写SQL程序。
7.如权利要求6所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(3)中，需要对数据处理的SQL语句进行管理，创建定时任务来定时的执行创建的存储过程。
8.如权利要求1所述的一种基于存储过程的数据流效率提升方法，其特征是：所述步骤(4)中，对于数据量一直处于增长状态的数据基础表我们采用增量方式更新中间表数据，对于数据变化不大或基本不变的数据基础表进行全量的更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510490016.XA CN105069117A (zh) | 2015-08-11 | 2015-08-11 | 一种基于存储过程的数据流效率提升方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510490016.XA CN105069117A (zh) | 2015-08-11 | 2015-08-11 | 一种基于存储过程的数据流效率提升方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105069117A true CN105069117A (zh) | 2015-11-18 |
Family
ID=54498487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510490016.XA Pending CN105069117A (zh) | 2015-08-11 | 2015-08-11 | 一种基于存储过程的数据流效率提升方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105069117A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512234A (zh) * | 2015-12-01 | 2016-04-20 | 苏州铭冠软件科技有限公司 | 一种云数据库的数据存储方法 |
| CN106484780A (zh) * | 2016-09-06 | 2017-03-08 | 努比亚技术有限公司 | 数据统计方法及装置 |
| CN106921614A (zh) * | 2015-12-24 | 2017-07-04 | 北京国双科技有限公司 | 业务数据处理方法和装置 |
| CN108132777A (zh) * | 2016-11-30 | 2018-06-08 | 上海驭创信息科技有限公司 | 一种跨表取值计算系统及方法 |
| CN108431769A (zh) * | 2016-01-21 | 2018-08-21 | 微软技术许可有限责任公司 | 无停机时间的数据库和服务升级 |
| CN109542902A (zh) * | 2018-11-12 | 2019-03-29 | 珠海格力电器股份有限公司 | 一种数据处理系统和方法 |
| CN109739852A (zh) * | 2018-12-19 | 2019-05-10 | 宁波中数云创信息技术有限公司 | 一种数据实用流化分散整合方法 |
| CN116244486A (zh) * | 2023-03-06 | 2023-06-09 | 深圳开源互联网安全技术有限公司 | 基于数据流的爬取数据处理方法及系统 |
-
2015
- 2015-08-11 CN CN201510490016.XA patent/CN105069117A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512234A (zh) * | 2015-12-01 | 2016-04-20 | 苏州铭冠软件科技有限公司 | 一种云数据库的数据存储方法 |
| CN106921614A (zh) * | 2015-12-24 | 2017-07-04 | 北京国双科技有限公司 | 业务数据处理方法和装置 |
| CN108431769A (zh) * | 2016-01-21 | 2018-08-21 | 微软技术许可有限责任公司 | 无停机时间的数据库和服务升级 |
| CN108431769B (zh) * | 2016-01-21 | 2021-09-17 | 微软技术许可有限责任公司 | 无停机时间的数据库和服务升级 |
| CN106484780A (zh) * | 2016-09-06 | 2017-03-08 | 努比亚技术有限公司 | 数据统计方法及装置 |
| CN108132777A (zh) * | 2016-11-30 | 2018-06-08 | 上海驭创信息科技有限公司 | 一种跨表取值计算系统及方法 |
| CN109542902A (zh) * | 2018-11-12 | 2019-03-29 | 珠海格力电器股份有限公司 | 一种数据处理系统和方法 |
| CN109739852A (zh) * | 2018-12-19 | 2019-05-10 | 宁波中数云创信息技术有限公司 | 一种数据实用流化分散整合方法 |
| CN109739852B (zh) * | 2018-12-19 | 2023-02-17 | 宁波中数云创信息技术有限公司 | 一种数据实用流化分散整合方法 |
| CN116244486A (zh) * | 2023-03-06 | 2023-06-09 | 深圳开源互联网安全技术有限公司 | 基于数据流的爬取数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069117A (zh) | 一种基于存储过程的数据流效率提升方法 | |
| Tao et al. | Minimal mapreduce algorithms | |
| He et al. | Comet: batched stream processing for data intensive distributed computing | |
| EP3098730B1 (en) | Aggregating database entries by hashing | |
| CN102799622B (zh) | 基于MapReduce扩展框架的分布式SQL查询方法 | |
| Lee et al. | Parallel data processing with MapReduce: a survey | |
| US20170083573A1 (en) | Multi-query optimization | |
| US8396852B2 (en) | Evaluating execution plan changes after a wakeup threshold time | |
| CN106599052B (zh) | 一种基于Apache Kylin的数据查询系统及其方法 | |
| Chandramouli et al. | Scalable progressive analytics on big data in the cloud | |
| CN103559300B (zh) | 数据的查询方法和查询装置 | |
| US9594804B2 (en) | Dynamic reordering of operations in a query plan | |
| Li et al. | Rios: Runtime integrated optimizer for spark | |
| Hassan et al. | Optimizing the performance of data warehouse by query cache mechanism | |
| Kotoulas et al. | Robust runtime optimization and skew-resistant execution of analytical SPARQL queries on PIG | |
| CN112286961B (zh) | Sql优化查询方法及装置 | |
| Jeon et al. | Distributed join processing between streaming and stored big data under the micro-batch model | |
| Bachhav et al. | Query optimization for databases in cloud environment: a survey | |
| Shang et al. | CrocodileDB: Efficient Database Execution through Intelligent Deferment. | |
| CN113704296A (zh) | 一种基于Spark SQL的计算下推查询优化方法 | |
| Xu et al. | Banian: a cross-platform interactive query system for structured big data | |
| CN103455556B (zh) | 存储单元数据裁剪方法 | |
| CN106997361B (zh) | 一种数据分布方法及装置 | |
| Li et al. | The research of performance optimization methods based on Impala cluster | |
| Hsiao et al. | Reducing mapreduce abstraction costs for text-centric applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151118 |
|
| RJ01 | Rejection of invention patent application after publication |