CN103218426A - 一种海量数据的整合方法 - Google Patents
一种海量数据的整合方法 Download PDFInfo
- Publication number
- CN103218426A CN103218426A CN2013101169686A CN201310116968A CN103218426A CN 103218426 A CN103218426 A CN 103218426A CN 2013101169686 A CN2013101169686 A CN 2013101169686A CN 201310116968 A CN201310116968 A CN 201310116968A CN 103218426 A CN103218426 A CN 103218426A
- Authority
- CN
- China
- Prior art keywords
- sheet
- summary sheet
- data
- log
- conditioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种海量数据的整合方法，包括以下步骤。将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。
Description
技术领域
本发明属于信息技术领域，尤其涉及一种海量数据的整合方法。
背景技术
随着社会信息化的日益发展，数据库技术已得到了广泛的应用。在企业的日常业务处理中，数据的分析相当重要。可以得出系统运行状况，并为下一步的决策打好基础。目前，在容量庞大的数据库系统中，由于后台数据表的设计缺乏合理性，统计数据的提取往往比较慢，严重影响了操作人员的工作效率，同样也造成了服务器资源的浪费。
发明内容
本发明提供一种海量数据的整合方法以解决上述问题。
本发明提供一种海量数据的整合方法，包括以下步骤。将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。
相较于先前技术，根据本发明提供的海量数据的整合方法，将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。如此，有效提高了统计数据的提取速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为根据本发明的较佳实施例提供的海量数据的整合方法的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为根据本发明的较佳实施例提供的海量数据的整合方法的流程图。如图1所示，本发明的较佳实施例提供的海量数据的整合方法包括步骤101~104。
步骤101：将用户行为记录到日志表中。
具体而言，所述用户行为，包括对数据库的查询、修改、添加及删除操作。
步骤102：获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。
具体而言，所述第一汇总表，可存储一天或指定天数的满足所述第一预设条件的数据。
步骤103：设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。
具体而言，当所述第一汇总表中数据量达到预警值时，设置所述第二预设条件。所述第二预设条件，可以与所述第一预设条件在相同方面作限制，也可以于其它方面作不同限制，对此本发明并不作限定。
于本实施例中，所述第一汇总表及第二汇总表存储预设天数的所述导出数据。
步骤104：将所述第一汇总表及第二汇总表合并到merge表中。
具体而言，根据系统管理员的查询命令，若需查询某天的用户行为统计信息，则系统在所述第一汇总表或第二汇总表中查询。若需查询指定时间段的用户行为统计信息，则系统在所述merge表中查询。于本实施例中，周期性对所述第一汇总表、第二汇总表及merge表进行备份及删除。于其它实施例中，可自行设置所述第一汇总表、第二汇总表及merge表的备份方式，对此本发明并不作限定。
举例而言，若2012年5月4日的日志表表名为：user_action_log_20120504，所述日志表中存在age及grade字段。第一预设条件为age>10，且第一汇总表的数据量预警值为1万条。系统获取所述日志表中age>10的数据，导出到第一汇总表中。当所述第一汇总表中数据量达到1万条时，设置第二预设条件为grade>3，并将所述grade>3的数据导出到第二汇总表中。于本实施例中，系统每天将所述第一及第二汇总表中前一天的数据汇总到merge表中，并将所述第一及第二汇总表中前一天的导出数据删除，以便于所述第一及第二汇总表继续存储接下来的导出数据。
若系统接收到的查询指令中包含的日期为所述第一及第二汇总表当前数据的对应日期，则到所述第一及第二汇总表中查询。若所述查询指令中包含的日期为指定指定时间段，则系统到merge表中查询。
综上所述，根据本发明较佳实施例提供的海量数据的整合方法，将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。如此，有效提高了统计数据的提取速度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种海量数据的整合方法，其特征在于，包括以下步骤：
将用户行为记录到日志表中；
获取日志表中满足第一预设条件的数据，并导出到第一汇总表中；
设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中；
将所述第一汇总表及第二汇总表合并到merge表中。
2.根据权利要求1所述的方法，其特征在于，当所述第一汇总表中数据量达到预警值时，设置所述第二预设条件。
3.根据权利要求1所述的方法，其特征在于，所述第一汇总表及第二汇总表存储预设天数的所述导出数据。
4.根据权利要求1所述的方法，其特征在于，若需查询某天的用户行为统计信息，则到所述第一汇总表或第二汇总表中查询。
5.根据权利要求1所述的方法，其特征在于，若需查询指定时间段的用户行为统计信息，则到所述merge表中查询。
6.根据权利要求1所述的方法，其特征在于，周期性对所述第一汇总表、第二汇总表及merge表进行备份及删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101169686A CN103218426A (zh) | 2013-04-05 | 2013-04-05 | 一种海量数据的整合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101169686A CN103218426A (zh) | 2013-04-05 | 2013-04-05 | 一种海量数据的整合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103218426A true CN103218426A (zh) | 2013-07-24 |
Family
ID=48816213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101169686A Pending CN103218426A (zh) | 2013-04-05 | 2013-04-05 | 一种海量数据的整合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103218426A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776885A (zh) * | 2016-11-29 | 2017-05-31 | 盐城工学院 | 一种数据导出方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040201500A1 (en) * | 1999-10-22 | 2004-10-14 | Miller John M. | System for dynamically pushing information to a user utilizing global positioning system |
| CN101018259A (zh) * | 2006-02-08 | 2007-08-15 | 中国电信股份有限公司 | 电信综合信息系统及方法 |
| CN101562664A (zh) * | 2009-05-20 | 2009-10-21 | 中兴通讯股份有限公司 | 一种话单处理方法和系统 |
-
2013
- 2013-04-05 CN CN2013101169686A patent/CN103218426A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040201500A1 (en) * | 1999-10-22 | 2004-10-14 | Miller John M. | System for dynamically pushing information to a user utilizing global positioning system |
| CN101018259A (zh) * | 2006-02-08 | 2007-08-15 | 中国电信股份有限公司 | 电信综合信息系统及方法 |
| CN101562664A (zh) * | 2009-05-20 | 2009-10-21 | 中兴通讯股份有限公司 | 一种话单处理方法和系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776885A (zh) * | 2016-11-29 | 2017-05-31 | 盐城工学院 | 一种数据导出方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9967338B2 (en) | Method and system for displaying similar email messages based on message contents | |
| CN104301360B (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
| CN102270225B (zh) | 数据变更日志监控方法和数据变更日志监控装置 | |
| CN101216821B (zh) | 数据采集系统的存储管理方法 | |
| CN103092867B (zh) | 一种数据管理方法及系统、数据分析装置 | |
| CN107870981A (zh) | 电子装置、数据表归档处理的方法及存储介质 | |
| CN102779138B (zh) | 实时数据的硬盘存取方法 | |
| US20140071135A1 (en) | Managing activities over time in an activity graph | |
| WO2019056789A1 (zh) | 关联交易的识别方法、装置、计算机设备和存储介质 | |
| US20190377815A1 (en) | Storing data items and identifying stored data items | |
| CN104598540A (zh) | 定时数据迁移装置及其使用方法 | |
| CN102855319A (zh) | Oracle数据库操作监控系统 | |
| CN107273449B (zh) | 一种基于内存数据库的断点处理方法及系统 | |
| US11829377B2 (en) | Efficient storage method for time series data | |
| CN106802928B (zh) | 电网历史数据管理方法及其系统 | |
| CN105183391A (zh) | 一种分布式数据平台下数据存储的方法和装置 | |
| CN104376119A (zh) | 一种适应超大规模列存数据库的数据访问方法及装置 | |
| CN105446824A (zh) | 表增量获取方法及异地数据备份方法 | |
| CN103778064A (zh) | 一种数据管理方法及装置 | |
| US20050262071A1 (en) | Method and system for supporting per-user-per-row read/unread tracking for relational databases | |
| CN103218426A (zh) | 一种海量数据的整合方法 | |
| US10747438B1 (en) | Reporting using archived data | |
| CN111695879A (zh) | 一种基于大数据oa系统 | |
| CN116541403A (zh) | 一种实时捕获数据库数据变更的方法、系统、电子设备及存储介质 | |
| CN104052767A (zh) | 文件追踪方法及其所适用的网络通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130724 |