CN107577805A - 一种面向日志大数据分析的业务服务系统 - Google Patents

Abstract

本发明公开了一种面向日志大数据分析的业务服务系统，包括日志获取模块、数据预处理模块、数据管道模块、计算处理模块、存储查询模块、系统管理模块，对数据计算、数据存储的方式进行系统化封装，在日志数据分析领域，在各种需进行数据处理、分析、展示等场景应用的接入及数据管理上，形成在数据和业务上易于横向扩展、具有多种大数据计算模式适配的大数据服务系统。采用多模块设计方式，通过关键中间服务的统一管理，结合系统架构中分布式计算和存储组件，为用户通过数据快速处理与分析、业务应用易于扩展的系统平台。

Description

一种面向日志大数据分析的业务服务系统

技术领域

本发明涉及日志数据分析的技术领域，尤其是指一种面向日志大数据分析的业务服务系统，结合大数据分析技术对指标类型日志数据进行流程化处理，最终提供通用化业务服务。

背景技术

随着信息行业的蓬勃发展，用户、联网设备带来了流量的井喷式增长，“大数据”一词在数据挖掘和商业智能等行业逐步升温。各领域针对实际的业务需求，设计合理的数据处理框架，包括计算框架、存储框架以及以二者为核心的架构解决方案。伴随着各种分布式云平台的逐步发展和完善，与分布式计算相结合的业务形成的功能产品更受青睐，其优势主要体现在更佳的时效性和更廉价的资源。

在基于分布式计算的大数据服务系统中，MapReduce计算模式在数据的并行处理上具有极大的优势，基于该数据计算模式实现的计算框架通常将数据处理拆分为map、shuffle、reduce三个阶段，并为用户提供面向数据的抽象化接口，由此可为用户应用开发提供友好的编程接口，促进模型原型的快速构建。在当前开源的计算引擎中，发展较成熟且为业界普遍认可的开源计算框架繁多，主要有：Hadoop、Storm、Spark、Flink等。而在分布式存储上，以HDFS、GFS等为代表的共享文件存储系统，提供了海量数据的一致性、容错性和读写上高吞吐量的保证。

当前工业界在大数据系统的构建上，主要基于通用的开源组件并加以适配和改造，自成一套数据转换和数据展示的方案。基于该方案形成的系统平台通常为用户提供配置工具，由用户控制数据处理的流程，最终数据经过逐步处理并落地。腾讯基于自研的分布式数据仓库TDW所构建的大数据平台，结合TRC、TDBank和Gaia等一系列组件，从而满足计算过程中实时处理、数据采集和分发、资源调度等功能。七牛云开发的大数据平台Pandora则基于Spark、MonogoDB和时序数据库等组件，为数据提供工作流的数据处理方式，在此之上用户可创建日志分析、性能监控等场景应用，一定程度上为操作用户提供直接面向数据进行分析和处理的手段。

目前，在面向日志分析的大数据服务系统的构建上，大多数做法或从数据处理的角度出发设计大数据分析功能，往往专注于数据流的构建，在场景设定和业务开发上缺乏一定的针对性。因此，在分析和挖掘的功能开发和由此引申的信息展示功能上，往往需要开发人员进行“平台级”的二次开发，将计算结果的数据“搬运”到具体场景上，在产品开发上缺乏一定的扩展性、通用性；或从业务的的角度出发，系统在数据上具有强业务相关的特点，平台系统往往为业务量身定做，耦合度较高，缺乏业务上的可移植性。

在针对日志数据进行大数据分析的领域，合理地对采集的日志数据进行管理和分析，最终形成相对固定的数据分析和可视化流程，为联网产品或应用提供基于日志的分析与挖掘平台，有利于提高基于大数据技术的运营管理能力和推动具体相关业务的营销。因此，本发明着重结合大数据处理的通用性需求和大部分基于产品或应用日志的功能业务开发需求，在数据处理、数据分析和场景应用上提供高效率、通用化和简便性的大数据业务服务系统。

发明内容

本发明的目的在于对数据计算、数据存储的方式进行系统化封装，在日志数据分析领域，在各种需进行数据处理、分析、展示等场景应用的接入及数据管理上，形成在数据和业务上易于横向扩展、具有多种大数据计算模式适配的面向日志大数据分析的业务服务系统；一方面，克服现有基于日志的大数据分析平台与商业智能结合普遍松散的缺点，提高业务开发的灵活度和部署的简便性；另一方面，在数据计算、分析、查询等模式应用上利用Spark、HDFS等开源软件的计算与存储优势，提供一个在基于日志数据的满足数据分析、模型构造、数据展示等场景的大数据服务系统。系统采用多模块设计方式，通过关键中间服务的统一管理，结合系统架构中分布式计算和存储组件，为用户通过数据快速处理与分析、业务应用易于扩展的系统平台。

为实现上述目的，本发明所提供的技术方案为：一种面向日志大数据分析的业务服务系统，包括：

日志获取模块，从相关应用的运营平台获取采集到的日志，该步骤得到的是原始日志，数据格式具有一定的规范性；

数据预处理模块，基于配置对原始日志数据提供预处理服务，本发明采用Agent(代理)程序根据用户选定的预处理方案，对数据进行清洗或转换操作。经过预处理后的日志具有一定的数值有效性；

数据管道模块，连接Agent程序和流式计算程序，通过提供高可用、高吞吐量的管道系统，提供数据缓冲功能和多样化的数据消费处理模型；

计算处理模块，提供数据的相关逻辑操作，通过对计算任务的管理和调度，为数据提供流式处理和批处理；

存储查询模块，在数据经过计算处理后，将根据业务需求持久化到指定存储，对于不同的存储介质对外提供对应数据响应能力的数据查询接口。

系统管理模块，作为系统服务对外的功能模块，通过可视化操作，为项目、业务以及对应的数据和任务提供管理能力，如数据接入、任务管理、信息展示和权限控制等。

所述日志获取模块的具体情况如下：

从应用的运营平台采集指标数据，数据类型可属于用户行为数据、应用状态数据或设备状态数据等，数据以日志规范的形式存储。其中，数据以行为基本单位，每一行需具有数据时间以及字段值，用逗号隔开。日志文件按照基于项目的配置要求，传输到本服务系统的指定原始日志消费区，最终由数据预处理模块进行处理。

数据被采集到本地或网络文件系统，由json格式的配置文件对目录结构进行规范。譬如：

对于项目project-A，其下可包括相关业务数据item-a,item-b,item-c,item-d，在业务下，详细的配置项将指定数据具体的格式与路径，数据的最小粒度统一按天规整切分，文件命名以日期格式yyyy-MM-dd进行保存。

所述数据预处理模块的具体情况如下：

当数据通过日志获取模块产生并进行分类归档后，形成基于业务分类的数据集。由Agent程序对获取到的日志进行预处理，系统中预处理的过程实际是将常见的预处理方式进行固化形成的预处理工具，经过预处理后的日志具有一定的数值有效性。

其中，在可视化操作上，系统为日志数据提供备选的数据预处理方案或自定义方式，用户通过在线方式进行业务数据的接入、处理和管理，后台解析请求，下发具体的清洗程序，由调度组件DSService进行统一调度和管理。

所述数据管道模块的具体情况如下：

日志经过预处理后，将通过网络传输到数据管道进行缓存，该模块实际上提供多数据队列的功能，并保证服务的高可用性，支持数据的实时消费和保证一定的吞吐量。在业务相关的逻辑处理前，数据将以分业务分队列的形式进行暂存，从而支持多队列分主题的数据消费模式，在应用场景上满足基于业务的多样化消费处理模型。

所述计算处理模块包括流式处理、批处理和任务管理与调度，具体情况如下：

流式处理主要对管道中的数据进行消费、处理和持久化，满足实时要求较高的应用；批处理主要针对统计分析业务或算法模型构建的数据量大、耗时较明显的应用；任务管理与调度负责整个计算处理模块中业务任务与底层基础计算组件的交互关系。

流式计算任务通过流模式(Streaming)应用实现，实时消费数据管道数据。经过流式处理的结果数据将按小时切分并落地到HDFS或数据库中，为用户查询或下一步的计算任务处理提供静态数据源。在大数据处理模式上，针对不同场景部署的功能应用，系统底层形成不同的处理模式。通过流式计算，可提供实时要求高的数据上报与分析应用；通过交互式分析，提供在线的统计分析功能；通过离线计算，对静态数据进行批处理；通过在线处理，提供数据分析的实时响应。基于缓存机制和预计算机制的设计，可快速读取流式处理或批处理的计算结果。

基于通用性的考量和业务解耦的实际需求，本系统的任务处理模式由自研调度组件DSService统一进行管理，并以RESTful接口的形式对外提供轻量级分析查询解析、调度等功能服务。

所述存储查询模块的具体情况如下：

由系统提供的存储组件保障，一方面，为经过计算处理后的数据提供存储功能，另一方面，数据经过存储后，针对具体的存储介质和指标查询，将由DSService对外提供查询接口进行数据查询，包括随机查询、批量查询或即系查询等。

数据查询的接口设计，由存储介质、数据格式及构建查询的转换逻辑共同决定，系统针对不同存储介质，提供源数据、指标聚合结果以及模型计算结果等具有场景意义的信息查询方式。

所述系统管理模块的具体情况如下：

通过提供管理类API并对外开放、针对该API封装的可视化操作，可进行数据和任务的管理，包括数据预览、日志预处理方案选定与执行、程序包的管理、计算任务的管理、数据的在线存查等功能，该模块属于直接面向用户的模块，前端抽象出实际业务操作，后台保证API的可靠性。

其中，系统提供了基于业务的开发模式，用户结合SDK构建业务程序包并上传到系统程序仓库，系统可基于对应的分布式计算任务、前端模板共同提供数据分析手段和信息展示功能。在信息展示上，通过前端定制具体的展示方案，即可对结果数据以报表、知识图谱、文本等方式进行展示。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明结合自定义的配置文件在数据的生成、导入、切分和管理上，对数据进行规范处理，一方面为用户在业务层面提供面向数据的管理，另一方面，数据总体分四个流程进行流动，分别为预处理、实时处理、业务计算、信息展示，借此可实现数据的有效复用和查询，克服了传统的数据分析平台存在数据链冗长、数据混乱、后期难以管理的问题。

2、在业务应用的开发和部署上，通过建立的应用部署流程以及统一调度服务，本发明从数据的产生、增长、处理、分析的流程设计出发，进行系统架构上设计；为方便开发和部署，本发明提供一种基于任务的开发和部署方式，克服了大数据分析系统在业务接入以及分析与挖掘功能开发上的薄弱性，提升了大数据应用任务管理的灵活度和应用部署上的简便性。

附图说明

图1为本发明的系统基本交互流程。

图2为本发明的数据DSService调度部分的原理框图。

图3为本发明的数据预处理模块的原理框图。

图4为本发明的数据管道模块的原理框图。

图5为本发明的计算处理模块原理框图。

图6为本发明的系统管理模块的原理框图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明主要目的是充分发挥已有计算资源和存储资源，对海量日志数据提供计算、分析与挖掘、信息展示的大数据分析业务服务系统，信息以报表、知识图谱或文本等形式进行表达。如图1所示，分析服务系统提供前端操作界面作为服务的入口，用户可进行数据预处理、查看、管理以及业务上的应用开发和部署等。如图1所示，系统后台分三个流程进行处理：服务平台Web Server端作为系统界面的后台，主要通过API的形式提供系统管理功能，前端的请求将封装为具体的任务下发到通用服务DSService，由DSService负责任务的调度、监控和其它管理，并由DSService协调、完成具体计算任务在基础组件的计算和存储。如图2所示，为DSService任务调度部分的基本原理，内部通过维护等待队列和运行队列，保证计算任务的正常启动和停止，以及任务操作的原子性。

本发明系统包括日志获取模块、数据预处理模块、数据管道模块、计算处理模块、存储查询模块、系统管理模块，下面对各个模块的具体实现原理进行阐述。

所述日志获取模块的具体情况是：从应用的运营平台采集指标数据，数据类型可属于用户行为数据、应用状态数据或设备状态数据等，数据以日志规范的形式存储。其中，数据以行为基本单位，每一行需具有数据时间以及字段值，用逗号隔开。日志文件按照基于项目的配置要求，传输到本服务系统的指定原始日志消费区，最终由数据预处理模块进行处理。

日志数据根据项目、业务进行分类后，需配套提供配置文件进行说明，用户在前端进行预览、可视化操作以及Agent应用进行部署前，通过读取该配置文件，可准确地理解数据并加载数据，配置文件为json格式，譬如在项目目录/data/project-A下，存在配置文件conf.json，分别记录各个业务的数据信息，具体示例如下：

在各个业务下，数据统一按天进行切分，如：

/2017/08/10/2017-08-10.csv

/2017/08/11/2017-08-11.csv

/2017/08/12/2017-08-12.csv

/2017/08/13/2017-08-13.csv

如图3所示，所述的数据预处理模块的具体情况是：当数据通过日志获取模块产生并进行分类归档后，形成基于业务分类的数据集。原始数据一般存在数据不完整、失真甚至字段值不合法等情况，因此由Agent程序对获取到的日志进行预处理。系统中预处理的过程实际是将常见的预处理方式进行固化形成的预处理工具，经过预处理后的日志具有一定的数值有效性；

其中在可视化操作上，系统为日志数据提供备选的数据预处理方案或自定义方式，用户通过在线方式进行业务数据的接入、处理和管理，后台解析请求，由DSService进行统一调度和管理；

如图4所示，所述的数据管道模块的具体情况是：日志经过预处理后，将通过网络传输到数据管道进行缓存，该模块实际上提供多数据队列的功能，并保证服务的高可用性，支持数据的实时消费和保证一定的吞吐量。在业务相关的逻辑处理前，数据将以分业务分队列的形式进行暂存，从而支持多队列分主题的数据消费模式，在应用场景上满足基于业务的多样化消费处理模型。

特别的，每个Agent作为数据管道的数据的生产者，在处理前将自动新建一个具有唯一名称的主题，用于对业务数据进行分类管理，下一步的流式计算处理将基于对应主题信息，对管道数据进行消费；

如图5所示，所述的计算处理模块包括流式处理、批处理和任务管理与调度。流式处理主要对管道中的数据进行消费、处理和持久化，满足实时要求较高的应用；批处理主要针对统计分析业务或算法模型构建的数据量大、耗时较明显的应用；任务管理与调度负责整个计算处理模块中业务任务与底层基础计算组件的交互关系。

流式计算任务通过Streaming应用实现，实时消费数据管道数据。经过流式处理的结果数据将按小时切分并落地到HDFS或数据库中，为用户查询或下一步的计算任务处理提供静态数据源。在大数据处理模式上，针对不同场景部署的功能应用，系统底层形成不同的处理模式。通过流式计算，可提供实时要求高的数据上报与分析应用；通过交互式分析，提供在线的统计分析功能；通过离线计算，对静态数据进行批处理；通过在线处理，提供数据分析的实时响应。基于缓存机制和预计算机制的设计，可快速读取流式处理或批处理的计算结果。

基于通用性的考量和业务解耦的实际需求，本系统的任务处理模式由自研调度组件DSService统一进行管理，并以RESTful接口的形式对外提供轻量级分析查询解析、调度等功能服务。

所述的存储查询模块由系统提供的存储组件保障，一方面，为经过计算处理后的数据提供存储功能，另一方面，数据经过存储后，针对具体的存储介质和指标查询，将由DSService对外提供查询接口进行数据查询，包括随机查询、批量查询或即系查询等。

数据查询的接口设计，由存储介质、数据格式及构建查询的转换逻辑共同决定，系统针对不同存储介质，提供源数据、指标聚合结果以及模型计算结果等具有场景意义的信息查询方式。

如图6所示，所述的系统管理模块通过提供管理类API并对外开放、针对该API封装的可视化操作，可进行数据和任务的管理，包括数据预览、日志预处理方案选定与执行、程序包的管理、计算任务的管理、数据的在线存查等功能，该模块属于直接面向用户的模块，前端抽象出实际业务操作，后台保证API的可靠性。

系统的使用总体可包括以下步骤：

1)通过在操作界面对数据进行数据预览和简单的可视化操作，为数据预处理或构建算法模型的业务程序包提供参考；

2)构建业务程序包并上传到系统程序包托管仓库，业务程序包为适配系统的分布式计算任务，本发明通过SDK提供开发接口；

3)系统提供任务的启停服务，当任务计算完成并正常结束，数据结果将根据用户配置进行相应的持久化，并由存储模块和系统管理模块提供界面上的预览功能；

4)特定业务应用具有特定的信息展示方式，譬如对于推荐类的功能应用，展示方式将是为每个待推荐个体提供推荐列表，并提供列表中各个推荐个体的权重。而对于统计类的功能应用，展示方式可以是在一个维度按指标数据做聚合操作，在另一个维度按连续型指标属性(如时间、年龄等)或离散型指标属性(如性别、国家等)进行展示等。总体而言，分析或计算结果将经过一系列转换操作，结合查询API、前端模板最终以报表、知识图谱或文本的形式进行展示。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种面向日志大数据分析的业务服务系统，其特征在于，包括：

日志获取模块，从相关应用的运营平台获取采集到的日志，得到的是原始日志，数据格式具有规范性；

数据预处理模块，基于配置对原始日志数据提供预处理服务，采用Agent程序根据用户选定的预处理方案，对数据进行清洗或转换操作，经过预处理后的日志具有数值有效性；

数据管道模块，连接Agent程序和流式计算程序，通过提供高可用、高吞吐量的管道系统，提供数据缓冲功能和多样化的数据消费处理模型；

计算处理模块，提供数据的相关逻辑操作，通过对计算任务的管理和调度，为数据提供流式处理和批处理；

存储查询模块，在数据经过计算处理后，将根据业务需求持久化到指定存储，对于不同的存储介质对外提供对应数据响应能力的数据查询接口；

系统管理模块，为业务服务系统对外的功能模块，通过可视化操作，为项目、业务以及对应的数据和任务提供管理能力，包括数据接入、任务管理、信息展示和权限控制。

2.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述日志获取模块的具体情况如下：

从应用的运营平台采集指标数据，数据类型为用户行为数据、应用状态数据或设备状态数据，数据以日志规范的形式存储；其中，数据以行为基本单位，每一行需具有数据时间以及字段值，用逗号隔开；日志文件按照基于项目的配置要求，传输到业务服务系统的指定原始日志消费区，最终由数据预处理模块进行处理；数据被采集到本地或网络文件系统，由json格式的配置文件对目录结构进行规范。

3.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述数据预处理模块的具体情况如下：

当数据通过日志获取模块产生并进行分类归档后，形成基于业务分类的数据集，由Agent程序对获取到的日志进行预处理，系统中预处理的过程实际是将常见的预处理方式进行固化形成的预处理工具，经过预处理后的日志具有数值有效性；其中，在可视化操作上，系统为日志数据提供备选的数据预处理方案或自定义方式，用户通过在线方式进行业务数据的接入、处理和管理，后台解析请求，下发具体的清洗程序，由调度组件DSService进行统一调度和管理。

4.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述数据管道模块的具体情况如下：

日志经过预处理后，将通过网络传输到数据管道进行缓存，该数据管道模块实际上提供多数据队列的功能，并保证服务的高可用性，支持数据的实时消费和保证吞吐量；在业务相关的逻辑处理前，数据将以分业务分队列的形式进行暂存，从而支持多队列分主题的数据消费模式，在应用场景上满足基于业务的多样化消费处理模型。

5.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述计算处理模块包括流式处理、批处理和任务管理与调度，具体情况如下：

流式处理主要对管道中的数据进行消费、处理和持久化，满足实时要求高的应用；批处理主要针对统计分析业务或算法模型构建的数据量大、耗时明显的应用；任务管理与调度负责整个计算处理模块中业务任务与底层基础计算组件的交互关系；

流式计算任务通过流模式应用实现，实时消费数据管道数据；经过流式处理的结果数据将按小时切分并落地到HDFS或数据库中，为用户查询或下一步的计算任务处理提供静态数据源；在大数据处理模式上，针对不同场景部署的功能应用，系统底层形成不同的处理模式；通过流式计算，能够提供实时要求高的数据上报与分析应用；通过交互式分析，提供在线的统计分析功能；通过离线计算，对静态数据进行批处理；通过在线处理，提供数据分析的实时响应。基于缓存机制和预计算机制的设计，能够快速读取流式处理或批处理的计算结果；

基于通用性的考量和业务解耦的实际需求，系统的任务处理模式由自研调度组件DSService统一进行管理，并以RESTful接口的形式对外提供轻量级分析查询解析、调度的功能服务。

6.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述存储查询模块的具体情况如下：

由系统提供的存储组件保障，一方面，为经过计算处理后的数据提供存储功能，另一方面，数据经过存储后，针对具体的存储介质和指标查询，将由DSService对外提供查询接口进行数据查询，包括随机查询、批量查询或即系查询；其中，数据查询的接口设计，由存储介质、数据格式及构建查询的转换逻辑共同决定，系统针对不同存储介质，提供源数据、指标聚合结果以及模型计算结果这些具有场景意义的信息查询方式。

7.根据权利要求1所述的一种面向日志大数据分析的业务服务系统，其特征在于，所述系统管理模块的具体情况如下：

通过提供管理类API并对外开放、针对该API封装的可视化操作，进行数据和任务的管理，包括数据预览、日志预处理方案选定与执行、程序包的管理、计算任务的管理、数据的在线存查功能，该系统管理模块属于直接面向用户的模块，前端抽象出实际业务操作，后台保证API的可靠性；

其中，系统提供了基于业务的开发模式，用户结合SDK构建业务程序包并上传到系统程序仓库，系统能够基于对应的分布式计算任务、前端模板共同提供数据分析手段和信息展示功能；在信息展示上，通过前端定制具体的展示方案，即可对结果数据以报表、知识图谱、文本方式进行展示。