CN108415892A - 一种快速数据分析生成报表处理方法 - Google Patents

Abstract

本发明公开了一种快速数据分析生成报表处理方法，属于数据分析技术领域。快速数据分析生成报表处理方法，包括：步骤1从日志列表中读取一日志文件；步骤2生成内存流文件；步骤3读一行数据，进行正则表达式分析并写入临时报表；步骤4判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；步骤6判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。本发明的快速数据分析生成报表处理方法与现有技术相比，占用内存少，分析速度快，尤其适合于大型企业快速生成数据报表使用。

Description

一种快速数据分析生成报表处理方法

技术领域

本发明具体涉及一种快速数据分析生成报表处理方法，属于数据分析技术领域。

背景技术

对于大型企业而言，在运营过程中产生大量的log文件。许多有用的信息蕴含其中，如此大的信息量如果不进行必要的数据清洗和挖掘，凭人工根本无法有效利用。

此类程序，不仅要求算法正确，更要求高效，往往同样是正确的程序，运行时间和对电脑的要求差别很大。

附图1为现有的一种生产报表的逻辑方案，这种方案的缺点是运行速度过慢，因为I/O操作次数=数据行数*报表数/2。一天的日志要进行几百万次的I/O操作，分析运行几个小时。

附图2为现有的另一种生产报表的逻辑方案，这种方案的缺点是内存100%占用，程序假死。原因是一天的日志分析，耗费大量的内存，对硬件要求过高，容易造成系统崩溃。

附图3为现有的另一种生产报表的逻辑方案，这种方案的运行速度有所提高，但是还是比较慢，原因是正则表达式分析长大字符串的效率不高。

发明内容

因此，本发明针对现有技术的上述问题，设计一种快速数据分析生成报表处理方法。

具体的，快速数据分析生成报表处理方法，所述方法包括：

步骤1 从日志列表中读取一日志文件；

步骤2 生成内存流文件；

步骤3 读一行数据，进行正则表达式分析并写入临时报表；

步骤4 判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；

步骤6 判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。

本发明的有益效果在于：本发明的快速数据分析生成报表处理方法与现有技术相比，占用内存少，分析速度快，尤其适合于大型企业快速生成数据报表使用。

附图说明

图1为背景技术中的第一种分析生成报表处理方法的逻辑图；

图2为背景技术中的第二种分析生成报表处理方法的逻辑图；

图3为背景技术中的第三种分析生成报表处理方法的逻辑图；

图4为本发明快速数据分析生成报表处理方法的逻辑图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明：

如图4所示。本实施例的使用背景与背景技术中相同，某交通企业行车log文件，平均每小时产生4万余条数据（10M左右文本文件），每日80~100万条数据，每月2500~3000万条数据。许多有用的信息蕴含其中，可以据此制定设备养护、维修计划，但如此大的信息量如果不进行必要的数据清洗和挖掘，凭人工根本无法有效利用。

此类程序，不仅要求算法正确，更要求高效，往往同样是正确的程序，运行时间和对电脑的要求差别很大。

通过使用本发明提供的处理方法，一台P4，2.8G CPU，512M内存的电脑中分析一天的数据占用内存50M，耗时30秒完成任务。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种快速数据分析生成报表处理方法，其特征在于，所述方法包括：

步骤1 从日志列表中读取一日志文件；

步骤2 生成内存流文件；

步骤3 读一行数据，进行正则表达式分析并写入临时报表；

步骤4 判断是否到达流文件尾，如判断为是，则将临时报表写入硬盘中的报表列表，清空临时报表并进入步骤5；如果判断为否，则返回步骤3；

步骤6 判断是否到达日志列表尾部，如果判断为是，结束；如果判断为否，返回步骤1。