CN104361022A - 一种基于采集数据统计以及前台展现的方法 - Google Patents

Abstract

本发明提供一种基于采集数据统计以及前台展现的方法，该技术适用于后台数据的页面展现。目前，在大数据、云计算的广泛应用下，服务器采集的数据都需要对各种类型、区域、行业、时间等众多条件进行种种分类，加大了对数据库的查询量，如有更加模糊的查询条件会对数据库造成无法估计的影响，这就需要大量的人工和硬件配置来支撑该操作。通过该数据统计的方法，可减轻数据库的统计压力以及人工的工作量，又可避免因操作问题造成对工作以及硬件的影响。

Description

一种基于采集数据统计以及前台展现的方法

技术领域

本发明涉及计算机应用领域,具体地说是一种基于采集数据统计以及前台展现的方法。本方案适用于对数据的统计、分析和对客户的展现，涉及到Oracle数据库。

背景技术

随着数据量的增长，对数据的整理、查询、统计分析的需求增加，大数据应用的发展，数据库面临的压力和挑战与日俱增。随之而来的是，如何让所管理的数据库能承受因需求增长而带来的压力，以及如何能更好地管理数据库，更好地优化等等这方面工作已经成为大数据中最棘手的问题。以Oracle数据库为例，如今面临CPU瓶颈、较小的内存、I/O吞吐能力差、时常短暂的性能下降等问题，在程序方面，应用程序和页面实时展示方面都面临瓶颈。在此背景之下，该方案能够解决针对数据量大、分项种类多的统计以及展现时间长、速度慢的问题。

发明内容

本发明的目的是提供一种基于采集数据统计以及前台展现的方法。

本发明的目的是按以下方式实现的，数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下：

1）配置数据库：通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sessions值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；

2）创建字段索引：根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；

3）数据采集：通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；

4）数据清洗：使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存；

5）页面展示：前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。

本发明的有益效果是：该技术适用于后台数据的页面展现。目前，在大数据、云计算的广泛应用下，服务器采集的数据都需要对各种类型、区域、行业、时间等众多条件进行种种分类，加大了对数据库的查询量，如有更加模糊的查询条件会对数据库造成无法估计的影响，这就需要大量的人工和硬件配置来支撑该操作。通过该数据统计的方法，可减轻数据库的统计压力以及人工的工作量，又可避免因操作问题造成对工作以及硬件的影响。

附图说明

图1是本发明的原理图；

图2是系统结构示意图；

图3是系统流程图。 

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗等。

程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表。具体步骤如下：

1）配置数据库：通过配置jdbc连接数据库，创建索引专用的表空间，调整表空间大小、数据库processes和sessions值（根据系统用户数量、用户并发量），同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；

2）创建字段索引：根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；

3）数据采集：通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；

4）数据清洗：使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据等整理，并将整理后的数据进行分类储存；

5）页面展示：前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。

实施例

第一步，通过jdbc连接数据库，配置数据库相关参数、创建索引表空间。根据查询、统计条件在相关表中建立字段索引。

第二步， 通过采集系统对各个网站的信息进行数据采集，并将采集后的数据通过jdbc连接存储到数据库临时表中。

第三步，数据清洗程序对采集的数据进行格式、异常、冗余等处理后进行整理，将相关数据在数据库中按照统计条件分类生成表并保存，使用索引进行相关统计和报表的生成。

第四步，前台页面可通过jdbc连接数据库查询相应的表并进行快速的展现，从而实现快速展现和统计。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种基于采集数据统计以及前台展现的方法, 其特征在于数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下：

1）配置数据库：通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sessions值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；

2）创建字段索引：根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；

3）数据采集：通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；

4）数据清洗：使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存；

5）页面展示：前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。