CN103927368A - 一种轻量级架构的利用流数据概念生成热力图的方法 - Google Patents

Abstract

本发明涉及一种轻量级架构的利用流数据概念生成热力图的方法。本发明所述的方法通过改进传统的数据收集框架，利用新技术带来的高并发处理能力和良好的可扩展特性，简化数据收集清洗过程，改进实效性，减少数据存储规模，针对热力图的数据特性，优化存储过程，最终形成产生热力图展现过程。本发明针对热力图的特点，结合Node.js的高并发处理能力，Redis的高速缓存，MySql的数据批量处理能力实现本发明的内容。

Description

一种轻量级架构的利用流数据概念生成热力图的方法

技术领域

本发明涉及一种轻量级架构的利用流数据概念生成热力图的方法，属于计算机数据统计分析的技术领域。

背景技术

关注用户在页面上的关注点与产品设计时的差异，并根据此差异作产品调整与优化。普遍的做法是根据用户在页面上的点击情况，描绘出用户关注的页面区域，并根据点击次数的比例，对于各个区域着以不同的颜色更直观简洁的展现用户的关注区域的重要程度。这种展现用户点击情况的方式叫做热力图。

现有的热力图技术通过以下几个专利说明：

中国专利CN101777080B公开了一种基于用户点击数据的网页分析方法，在网页上建立一个坐标系，通过Javascript技术收集用户鼠标点击数据的坐标，给当前的页面内容起一个ID，当内容发生变化的时候，动态更新当前ID，并将鼠标点击数据的坐标和其所对应的ID号结合到一块形成点击数据，以适应后台OLAP分析结构的形式发送给数据收集服务器，存入数据库，并进一步与系统收集到的相关联的数据整合，最终在网页上以富媒体技术形成热力图展示给用户。为动态变化的页面提供了一种可行的分析方法，具有更大的信息反馈量，可为网络营销分析师提供针对不同内容页面更为详尽的分析数据，为网页的优化提供进一步的参考支持。此发明中着重提出了热力图前端收集的方法和数据收集后的展现方式，提出了热力图的概念和前端收集原理。本专利描述了描述数据收集和清理的过程，解决面对大访问量时，如果搭建可维护，轻量级的架构，支撑数据收集。

中国专利申请CN102043850A公开了本发明提供了一种生成热力图的方法，首先记录网页内的光标在当前分辨率的坐标系中的当前坐标，然后将所述当前坐标转换为该光标在标准分辨率下的标准坐标，最后记录所述标准坐标并根据该标准坐标生成所述网页的热力图。相应地，本发明还提供一种记录生成热力图所需数据的终端和一种生成热力图的服务器。实施本发明提供的方法及装置，能生成精确性和正确性更高的热力图，能更准确地显示出网页上的热点页面区域。此专利中对数据收集服务器提出来概念，但是没有进一步公开细节，没有描述如何解决大并发，大访问情况下的数据收集问题，也没有对架构提出挑战，运用高性能方案优化架构。

中国专利申请CN102831218A公开了一种热力图中的数据确定方法及装置，该热力图中的数据确定方法包括：获取网页的热力图；获取用户在网页上点击的坐标和事件的数据，其中，事件为点击所触发的事件，事件的数据为与事件对应的数据；以及确定热力图中与坐标对应的事件的数据。通过本发明，由于在获取了网页的热力图后，获取了用户每次进行点击时的坐标以及该点击所触发的事件的数据，因此可以确定热力图上每个点对应的事件的数据，从而提高了网页数据分析的准确性。此专利与中国专利CN101777080类似，只是提出了数据展示时的方式方法，属于理论的进一步演化，对于实际生产过程中的性能问题、容量问题没有进行考虑。

上述专利文献，多数是从理论层面对热力图的收集方法、展现方式提出了优化后的方案，属于对热力图的业务演化，从热力图的使用者角度优化了数据准确性，但是都没有对数据的收集处理层次的架构提出详细描述，提出过利用高性能方案使架构轻量化，部署简易化、可维护。

发明内容

针对现有技术的不足，本发明提供一种轻量级架构的利用流数据概念生成热力图的方法。本发明所述的方法通过改进传统的数据收集框架，利用新技术带来的高并发处理能力和良好的可扩展特性，简化数据收集清洗过程，改进实效性，减少数据存储规模，针对热力图的数据特性，优化存储过程，最终形成产生热力图展现过程。本发明针对热力图的特点，结合Node.js的高并发处理能力，Redis的高速缓存，MySql的数据批量处理能力实现本发明的内容。

本发明的技术方案在于：

一种轻量级架构的利用流数据概念生成热力图的方法，包括步骤如下：

(1)根据系统要接受的数据量，依据每300并发横向部署一个数据接收服务应用，制定部署方案；

(2)根据部署方案分别部署负载均衡服务应用、数据接收服务应用、数据处理服务应用、高速缓存中间件和数据库存储；

(3)在需要收集数据的网页上部署一个script标签，由script标签向Node.js开发的负载均衡服务器请求一个针对此页面的执行JavaScript，由请求来的JavaScript负责收集用户的点击，将用户点击坐标按照用户页面居左/居中/居左布局方式转化成以整个页面水平中心点为基准点的坐标，并按照可配置的点击数量分组发送到Node.js开发的数据接收服务器,数据接收服务应用把接收的点击数据存储到Redis里面，并更新Rdeis里面每个页面的最大点击数；此过程中负载均衡服务应用负责进行请求的负载均衡、JavaScript片段的生成与缓存管理；

(4)在数据库中记录需要数据收集的页面的居左/居中/居左布局方式和页面点击对应的存储表，负载均衡服务应用负责从数据库中提取以上数据，页面代码根据从负载均衡服务应用请求过来的布局方式，决定以何种方式转换点击数据并上传到数据接收服务应用；

(5)数据接收服务与高速缓存和数据处理服务共同完成数据清洗并把以页面为单位的点击数据存储到数据库中；

(6)展现页面根据数据库中的点击位置和每个位置的点击数量数据展示成为热力图。

名词解释：

Node.js：是一套用来编写高性能网络服务器的JavaScript工具包

Redis：是一个高性能的key-value数据库

MySQL：是一种关联数据库管理系统

基本架构描述：在需要收集数据的网页上部署一个script标签，由script标签向Node.js开发的负载均衡服务器请求一个针对此页面的可执行JavaScript，由请求来的JavaScript负责收集用户的点击，将用户点击坐标按照用户页面布局方式转化成以页面水平中心点为基准点的坐标，并按照数量分组发送到Node.js开发的数据接收服务器,数据接收服务器把接收的数据存储到Redis里面，并更新每个页面的最大点击数。此过程中负载均衡服务器负责进行请求的负载均衡、JavaScript片段的生成与缓存管理，

由Node.js开发的数据处理服务器负责每10秒处理一次Redis缓存里面的数据，处理时需要在mysql中建立一个临时表，把Redis里面的点击数据存储到临时表里面，再把临时表中按照页面坐标存储的点击数据，存储到实体表里面，在数据处理服务器中在架构中的责任主要是负责数据的迁移和处理，所以在数据处理服务器中也添加了主从库数据迁移和点击数据按照时间汇总的功能，在具体使用时，参考整个系统需要承担的数据压力，数据处理服务器根据启动参数的不同执行不同的功能。整个架构采用松耦合的、类似于依赖注入的机制，让服务器与服务器之间联系起来，在此架构基础上可以做到高度的水平扩展。

采用本发明所述方法的有益效果：

1、本发明所述的方法采用Node.js，其中Node.js是近年来兴起的轻量级服务器端语言，特点是无阻塞、高性能。以往的数据收集，如果上升到企业级的架构，无不是采用日志收集的方式，原因在于没有更多的人力资源可以投入到从相关中间件的底层开始开发一套有针对性的数据收集框架，Node.js的特点可以轻易解决这个问题。所以在此发明中，Node.js大大简化了数据收集端的架构复杂度，可以方便的我们定制个性化的处理过程，并且相对于巨型的中间件，部署是轻量级的、简单的、可控及易于调整的。

2、本发明利用首先插入temp表，然后更新实体表这样一个过程中能处理大数据的特点，把收集到的原始数据映射到具体的二维格式存储中，简化数据收集清理转存的过程。由于收集端是可控的，已经简化了数据清洗的困难程度，又因为存储的是关于坐标相关的内容，可以采取二维映射的方式，在存储过程中最大限度的汇总数据，做到最终存储在实体表中、占用存储空间的数据的增长是有限的。

3、由于整个架构是可以水平扩展的，并且每个部分的部署是轻量级的，这就为大型的可水平扩展的部署储备了条件。在数据爆炸今天，企业级服务器与存储正在被可以水平扩展的大型矩阵式的服务器集群与存储集群所替代，以为的庞大的数据清理和计算架构，不利于水平扩展的部署，优化的方案由于对机器能力的要求较小，可以轻易在pc集群上部署，在一定程度上符合当前的发展趋势。

附图说明

图1为本发明所述方法的架构描述图；

图2为利用本发明所述方法后所显示的页面效果图；

图3数据收集流程。

具体实施方式

下面结合实施例对本发明做详细的说明，但不限于此。

实施例1、

一种轻量级架构的利用流数据概念生成热力图的方法，包括步骤如下：

(1)根据系统要接受的数据量，依据每300并发横向部署一个数据接收服务应用，制定部署方案；

(2)根据部署方案分别部署负载均衡服务应用、数据接收服务应用、数据处理服务应用、高速缓存中间件和数据库存储；

(3)在需要收集数据的网页上部署一个script标签，由script标签向Node.js开发的负载均衡服务器请求一个针对此页面的执行JavaScript，由请求来的JavaScript负责收集用户的点击，将用户点击坐标按照用户页面居左/居中/居左布局方式转化成以整个页面水平中心点为基准点的坐标，并按照可配置的点击数量分组发送到Node.js开发的数据接收服务器,数据接收服务应用把接收的点击数据存储到Redis里面，并更新Rdeis里面每个页面的最大点击数；此过程中负载均衡服务应用负责进行请求的负载均衡、JavaScript片段的生成与缓存管理；

(4)在数据库中记录需要数据收集的页面的居左/居中/居左布局方式和页面点击对应的存储表，负载均衡服务应用负责从数据库中提取以上数据，页面代码根据从负载均衡服务应用请求过来的布局方式，决定以何种方式转换点击数据并上传到数据接收服务应用；

(5)数据接收服务与高速缓存和数据处理服务共同完成数据清洗并把以页面为单位的点击数据存储到数据库中；

(6)展现页面根据数据库中的点击位置和每个位置的点击数量数据展示成为热力图。

利用本发明准对用户数量为300万，日访问量在20-30万之间的网站，对部分页面做热力图监控：

针对以上的这个情况，从服务器部署、数据准备，页面JavaScript实施等角度做详述，

(1)服务器部署：整个架构部署在两台2个CPU、4G内存的机器上，达到300每秒最大请求数，满足了日访问量在30W以内的要求；为了避免单点的问题，把负载均衡服务、数据收集服务、数据处理服务、Mysql、Redis交叉部署在两台服务器上，每种服务部署两个以上。对于最可能形成单点的负载均衡服务器，采用主备的方式部署，主备之间采用心跳检测保持状态；

(2)数据准备：整理需要监控页面的页面布局方式，并将需要监控的页面URL和布局方式存储到数据库中；

(3)页面JavaScript实施：在需要检测的网站页面主框架上嵌入一个JavaScript标签，需要收集热力图的页面的点击情况就可以收集起来，不需要收集点击情况的页面不会执行收集动作；

(4)查看：使用热力图生成组件查看已经收集到点击数据的页面的热力图。

Claims (1)

1.一种轻量级架构的利用流数据概念生成热力图的方法，其特征在于，该方法包括步骤如下：

(1)根据系统要接受的数据量，依据每300并发横向部署一个数据接收服务应用，制定部署方案；

(2)根据部署方案分别部署负载均衡服务应用、数据接收服务应用、数据处理服务应用、高速缓存中间件和数据库存储；

(3)在需要收集数据的网页上部署一个script标签，由script标签向Node.js开发的负载均衡服务器请求一个针对此页面的执行JavaScript，由请求来的JavaScript负责收集用户的点击，将用户点击坐标按照用户页面居左/居中/居左布局方式转化成以整个页面水平中心点为基准点的坐标，并按照可配置的点击数量分组发送到Node.js开发的数据接收服务器,数据接收服务应用把接收的点击数据存储到Redis里面，并更新Rdeis里面每个页面的最大点击数；此过程中负载均衡服务应用负责进行请求的负载均衡、JavaScript片段的生成与缓存管理；

(4)在数据库中记录需要数据收集的页面的居左/居中/居左布局方式和页面点击对应的存储表，负载均衡服务应用负责从数据库中提取以上数据，页面代码根据从负载均衡服务应用请求过来的布局方式，决定以何种方式转换点击数据并上传到数据接收服务应用；

(5)数据接收服务与高速缓存和数据处理服务共同完成数据清洗并把以页面为单位的点击数据存储到数据库中；

(6)展现页面根据数据库中的点击位置和每个位置的点击数量数据展示成为热力图。