CN104735104A - 微信智能公众平台系统 - Google Patents

Abstract

本发明公开了一种微信智能公众平台系统，其特征在于包括：数据采集子系统，由部署在城域网骨干层的DPI设备完成；数据下载子系统，按照固定的周期将数据采集子系统生成的日志文件下载到SRC分析系统数据存储平台；ETL子系统；应用子系统；系统管理子系统；数据访问接口层，提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口。系统实现了帮助不同行业、不同需求的企业运营微信，从增加粉丝关注量到微信营销推广，再到微信关注粉丝的互动营销维护(包括第三方人工微信客服受理服务、引导用户下单、提升用户体验等)，最后到微信运营效果总结分析的一整套流程服务。

Description

微信智能公众平台系统

技术领域

本发明涉及一种微信智能公众平台系统。

背景技术

随着微信公众平台的出世，不少企业认证通过了公众平台，但是有许多企业的官方微信号只是在做简单的信息推送，买的粉丝也有好多是无效的。微信智能公众平台系统旨在帮助企业解决微信运营的问题，与粉丝高效互动，微信不仅是信息发布的平台更是一个客服中心。无论是电子商务还是实体店都可以建立自己的微信客服中心，量身定制的方案更适合企业。

发明内容

本发明针对以上问题的提出，而研制一种微信智能公众平台系统。本发明采用的技术手段如下：

一种微信智能公众平台系统，其特征在于包括：

1）数据采集子系统，由部署在城域网骨干层的DPI设备完成；DPI设备首先按照一定比例采集捕捉到的IP数据包，并拆包提取、检验数据是否为分析范围数据；

2）数据下载子系统，按照固定的周期将数据采集子系统生成的日志文件下载到SRC分析系统数据存储平台；

3）ETL子系统，经过数据预处理、数据转换、数据清洗处理以及结果转存步骤将大量原始日志数据转换为供应用子系统使用的精简有效数据，最终将精简处理结果转存到MySQL数据当中；

4）应用子系统，为最终用户提供各种宽带分析功能的访问层，包括电子渠道分析、电子渠道对比、3G移动业务分析、报表查询搜索功能模块，主要负责提供友好的用户访问界面与处理业务功能访问请求，并将用户请求处理结果呈现给最终用户；

5）系统管理子系统，包括用户管理、权限管理、数据管理以及系统监控模块；

6）数据访问接口层，提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口。

微信智能公众平台系统为企业提供基于微信平台的客户服务、产品推介、互动营销、市场调查、产品订单等运营与系统功能服务。系统实现了帮助不同行业、不同需求的企业运营微信，从增加粉丝关注量到微信营销推广，再到微信关注粉丝的互动营销维护(包括第三方人工微信客服受理服务、引导用户下单、提升用户体验等)，最后到微信运营效果总结分析的一整套流程服务。

附图说明

图1为本发明系统部署图。

具体实施方式

NodeJS是一个使用了Google高性能V8引擎的服务器端JavaScript实现。它提供了一个(几乎)完全非阻塞I/O栈，与JavaScript提供的闭包和匿名函数相结合，使之成为编写高吞吐量网络服务程序的优秀平台。微信智能公众平台系统采用NodeJS平台构建微信公众平台网络服务及应用，支持高并发。运用NGINX反向代理服务器以及Redis存储系统在Nodejs平台下实现Non-blockingI/O。工作流程包含以下主要步骤：数据集中与选择、数据预处理（抽取）、数据转换、数据清洗与融合、数据分析（挖掘）和结果呈现。

如图1所示的微信智能公众平台系统，包含如下系统：

（1）数据采集子系统，此子系统的工作主要由部署在城域网骨干层的DPI设备完成。DPI设备首先按照一定比例采集捕捉到的IP数据包，并拆包提取、检验数据是否为分析范围数据。如果数据符合提取条件，DPI设备将该数据包信息按照规定的格式保存到一条信息记录当中，当提取并生成的记录达到一定数量时，DPI设备将这些记录按照预定义命名规则保存到宽带日志文件中。

（2）数据下载子系统，由于数据采集子系统与应用访问子系统通常部署在不同的机房或者不同地域，需要由数据下载子系统按照固定的周期将数据采集子系统生成的日志文件下载到SRC分析系统数据存储平台。SRC系统采用FTP方式每天定时下载采集子系统生成的日志数据并保存到SRC系统存储平台的HDFS中。

（3）ETL子系统，此子系统为SRC功能模块的中枢，经过数据预处理、数据转换、数据清洗处理以及结果转存等步骤将大量原始日志数据转换为供应用子系统使用的精简有效数据，最终将精简处理结果转存到MySQL数据当中。在实现过程中ETL子系统通过调用Cloudbase数据仓库接口，大大简化了实现ETL功能程序的复杂度。Cloudbase是运行在Hadoop上的数据仓库软件，可以轻易地使用SQL语句对存储在Hadoop HDFS中的资料（日志记录）进行分析，分析的主要任务是剔除无效数据，并根据有效记录的关键字段进行有效记录合并。每次利用Cloudbase进行SQL语言查询时，Cloudbase会将SQL语句转换为MapReduce分布式并行计算任务来执行，采用MapReduce并行计算处理方式一方面克服了单机硬件配置的瓶颈，另一方面大大提高了系统处理能力，缩短了处理时间。

（4）应用子系统，应用子系统就是为最终用户提供各种宽带分析功能的访问层，包括电子渠道分析、电子渠道对比、3G移动业务分析、报表查询搜索等功能模块，主要负责提供友好的用户访问界面与处理业务功能访问请求，并将用户请求处理结果呈现给最终用户。

（5）系统管理子系统，包括用户管理、权限管理、数据管理以及系统监控模块。其中数据管理功能实现对HDFS中日志数据和MySQL数据库中精简数据及挖掘数据的管理。

（6）数据访问接口层，主要是提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口。借助对数据库、数据仓库中数据表的Select、Insert、Update、Delete等基本操作的封装，为上层应用子系统应用业务逻辑控制模块提供简单调用，从而降低应用子系统访问数据以及调用ETL子系统的复杂度。系统每天凌晨自动下载电信公司机房DPI设备采集的日志数据，ETL子系统数据处理任务由3台Hadoop集群完成，系统每小时能够处理原始数据量大约为4.2GB，经过数据预处理、抽取、清洗工作流程后得到的有效数据为200MB左右，压缩比可达1/200。由于SRC基于Hadoop并行分布式处理平台构建，因此可以快速实现在线横向扩展，而完成此项工作原有系统处理能力为2GB/h，同时系统无法实现实时的横向扩展。其系统部署图如图1所示。

最终电信企业网络管理员或者其他电子渠道经验者用户可以通过浏览器访问系统，获取宽带用户访问网上营业厅等电子渠道的统计分析结果，系统同时提供PDF文件下载功能，方便用户获取、打印统计报表。由于Hadoop具有较为灵活的伸缩性，当需要处理的原始数据迅速增加时，系统可以快速扩展Hadoop集群节点数量，提高系统处理能力；同时当处理任务较少时，也可以即时减少Hadoop系统工作节点，因此系统具有较为灵活的扩展性能。本发明的有益效果在于：采用Nodejs平台下实现Non-blocking I/O，SRC结合开源MapReduce分布式并行技术，使用Cloudbase进行日志数据分析，最后以Web页面和PDF报表文件两种形式呈现统计结果，成功实现数据采集、信息提取、业务逻辑实现与呈现等经营分析系统工作流程的分离，大大提高了系统处理效率和灵活性，缩短了系统处理时间。分布式并行计算技术（本系统采用Hadoop平台）在海量数据处理、分析、挖掘方面展现了很多优良特性，在今后大规模数据分析、数据挖掘、科学计算等领域将发挥越来越重要的作用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种微信智能公众平台系统，其特征在于包括：

1）数据采集子系统，由部署在城域网骨干层的DPI设备完成；DPI设备首先按照一定比例采集捕捉到的IP数据包，并拆包提取、检验数据是否为分析范围数据；

2）数据下载子系统，按照固定的周期将数据采集子系统生成的日志文件下载到SRC分析系统数据存储平台；

3）ETL子系统，经过数据预处理、数据转换、数据清洗处理以及结果转存步骤将大量原始日志数据转换为供应用子系统使用的精简有效数据，最终将精简处理结果转存到MySQL数据当中；

4）应用子系统，为最终用户提供各种宽带分析功能的访问层，包括电子渠道分析、电子渠道对比、3G移动业务分析、报表查询搜索功能模块，主要负责提供友好的用户访问界面与处理业务功能访问请求，并将用户请求处理结果呈现给最终用户；

5）系统管理子系统，包括用户管理、权限管理、数据管理以及系统监控模块；

6）数据访问接口层，提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口。