CN103365927A - 基于用户数据的网页分析方法和系统 - Google Patents

Abstract

本发明公开了一种基于用户数据的网页分析方法和系统。其根据网页页面的分格对应定义监测点；将所述监测点监测到的用户数据积累存储于数据仓库；分析由数据仓库抽取的数据。实现了极强和极精确的数据收集能力，分析所述数据则反过来促进了网页布局的优化，以及极大提升了网页的用户体验。

Description

基于用户数据的网页分析方法和系统

技术领域

本发明的各实施方式涉及网络信息分析和服务，更具体地，涉及基于网页的数据分析方法和系统。

背景技术

随着计算机技术和网络技术的持续发展，出现了数以亿计的网站。这些网站包括多种类型和用途，例如新闻网站、社交网站、电子商务网站、网游网站等等。作为网站的经营者，其有统计和分析网站数据的强烈需求。

目前已有许多高级的网页分析工具，例如著名的Omniture公司SiteCatalyst工具，Google的Google Analytics工具，均可以对用户的访问数据作出具体的分析。利用该分析数据，网站经营者可以实时地掌握用户的偏好数据、消费心理。从而设计出更有针对性的网页页面。然而以上所说网页分析技术所采用的方法均是基于链接跟踪，即通过对整个网站的访问者进行跟踪，能够在网页中显示每个链接点击的数目以及比例各是多少，链接跟踪的局限就在于它的反馈信息相对不足。例如，某WEB页面上设计了两个入口链接，一个是普通文字链接，一个是图片链接，点击都会进入同一个页面，其链接地址相同，因此基于上述链接跟踪的方法中就会显示点击进入这两个链接的次数是一样的，但你无法知道用户更喜欢哪一种形式的入口链接，因而不能进一步地进行优化。特别地，对于网页游戏界面，其界面上的元素繁多，如何确定用户更喜欢哪种页面布局、元素设置，对于提高最终的KPI转化率，提高企业的网站投资回报率以及增加用户的网站体验至关重要。

另外，现有的大部分网页分析工具仅仅是追踪用户的访问数据，例如记录网页浏览量、来访的IP地址、点击率，以及简单的转化率等等，它们对数据的分析不够深入，建立的数据仓库过于薄弱，无法有效支持多维度数据的抽取，无法向网站经营者提供全方位的、直观的经营数据。特别是对于现在的网页游戏页面，上面提供了多种类型的游戏，现有的网页分析工具，无法实现对多种游戏数据的运营数据的比较分析。

发明内容

鉴于上述现状，本发明的一个目标至少部分地在于提供一种用户数据的网页分析方法和系统，其通过在网页页面的分格对应定义监测点，实现了极强和极精确的数据收集能力，分析所述数据则反过来促进了网页布局的优化，以及极大提升了网页的用户体验。

根据本发明的一个方面，提供了一种基于用户数据的网页分析方法，包括：根据网页页面的分格对应定义监测点；将所述监测点监测到的用户数据存储于数据仓库；分析由数据仓库抽取的数据。

根据本发明的另一个方面，提供了一种基于用户数据的网页分析系统，包括：设置装置，根据网页页面的分格对应定义监测点；存储装置，将所述监测点监测到的用户数据积累存储于数据仓库；

根据本发明的一个实施方式，其特征还在于：所述定义监测点包括根据页面的元素数量和位置，确定页面分格的数量和位置，进而定义监测点。

根据本发明的一个实施方式，其进一步包括：每隔一定时间调整网页页面的布局，进而在调整后的网页页面上分格地定义监测点，从而监测调整布局后的数据。

根据本发明的一个实施方式，进一步包括：根据所述数据分析结果，反馈调整网页页面的布局，再进一步在网页页面上分格地定义所述监测点。

根据本发明的一个实施方式，其特征还在于：所述抽取包括多维度地抽取所述数据仓库中的数据。

根据本发明的一个实施方式，其特征还在于：所述抽取包括以日报或月报的方式抽取所述数据仓库中的数据。

根据本发明的一个实施方式，其特征还在于：人工定义或程序自动定义所述监测点。

根据本发明的一个实施方式，其特征还在于：抽取所述数据包括自动以邮件或报表的方式展现数据。

根据本发明的一个实施方式，其特征还在于：所分析包括登陆统计分析、收入统计分析、ARPU贡献维度分析。

根据本发明的一个实施方式，进一步包括：所述网页包括网页游戏页面。

附图说明

当结合附图阅读下文对示范性实施方式的详细描述时，这些以及其他目的、特征和优点将变得显而易见，在附图中：

图1示出了根据本发明优选实施例的基于用户数据的网页分析方法100的流程图；

图2示出了根据本发明优选实施例的用于定义监测点的网页分格原理图；

图3示出了根据本发明方法的网站登录或活跃用户折线图示例，其中横轴表示时间，纵轴表示活跃用户数，直线表示趋势线。

图4示出了根据本发明方法的网站毛收入/纯收入的折线示例。其中横轴表示时间，纵轴表示收入，直线表示趋势线。

图5示出了根据本发明优选实施例的基于用户数据的网页分析系统500的方框图；

图6示出了适于用来实现本发明实施方式的计算机系统的框图。

具体实施方式

附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

根据本发明的各个实施例，涉及的术语“网页”不限于具体的类型，通常我们看到的网页，都是以htm或html后缀结尾的文件，俗称HTML文件。但也可以有不同的后缀，它们分别代表不同类型的网页文件，例如CGI、ASP、PHP、JSP等等。

根据本发明的各个实施例，涉及的“网页的布局类型”也可以为任意的类型，包括但不限于“国”字型、拐角型、标题正文型、左右框架型、上下框架型、综合框架型、封面型、Flash型等等

下面将参照附图仅通过示例的方式来详细地描述本发明的各种实施方式。

图1示出了根据本发明优选实施例的基于用户数据的网页分析方法100的流程图。该方法可以由计算机和移动通信终端的处理器执行。步骤开始于101。

在步骤110处，根据网页页面的分格对应定义监测点。

所述网页页面的分格是指对网页页面进行分格，但并不限定分格的数量和位置。但优选的分格方式原理可以参见图2，图2为根据本发明优选实施例的用于定义监测点的网页分格原理图。

图2中，以人人网的网页游戏页面作为示例，所述网页游戏页面被分成3等分，上下则形成3x3九宫格的模型，然后每个格子放置需要游戏页面的元素。另外，如果元素太多，则继续3等份，直到把全部元素放下。当然，一个分格可以对应一个元素，也可以对应多个元素。每个元素可以对应定义一个监测点，也可以对应定义多个监测点。当然，多个元素也可以对应定义一个监测点。可以看到，监测点的数量和位置地定义完全是根据需要设置的，对此并不限制。

例如，所述定义监测点优选可以根据页面的元素数量和位置，确定页面分格的数量和位置，进而定义监测点。

所述定义监测点优选可以每隔一定时间调整网页页面的布局，进而在调整后的网页页面上分格地定义监测点，从而监测调整布局后的数据。

所述定义监测点还可以优选根据所述数据分析结果，反馈调整网页页面的布局，再进一步在网页页面上分格地定义所述监测点。即在每次修改布局后保持对数据监控，根据后面提到的分析步骤可以反馈修改的效果，转化率效果好的保留，差的抛弃；持续优化反复的过程，最终达到满意的结果(比如注册转化率，充值转化率等各类不同的衡量效果)，注意在比较过程中要保证每次衡量的数据规则保持一致。布局的优劣还可以以数据变化设置的三维图表展示，例如以浏览器左下角为原点，建立坐标系，屏幕横向为X轴，纵向为Y轴，每个点以距离原点的像素大小为标识，记性标记，Z轴为测得与分格相关的用户数据。

另外，监测点可以是人工定义，也可以是程序自动定义。所述人工定义的监测点是指根据实际要求监测数据的需要在设计网页页面时专门嵌入的。而程序自动定义的监测点是指设计网页页面时并非直接用来监测用户数据的监测点，例如网页的div id，imageid，button id等。本发明主要通过这两类监测点来对所需要的用户数据进行收集。

所述监测可以是直接的，也可以是间接的。所述监测优选为实时监测。

本领域技术人员应该明白，不管是何种监测点，它们的实现均为本领域的现有技术，故对其实现的技术和过程不再赘述。

上述通过网页页面分格的方式设置监测点的有利之处在于，除了获得常规意义上的监测数据，通过引入分格实际上增加了一个监测维度，可以很清楚地了解每个分格内监测的用户数据(例如，可称为分格维度直接相关的数据)，便于比较分格数据的优劣，对于优化布局具有非常强的指导意义。例如，用于比较分析同一游戏链接放置于不同分格内的点击率，了解用户的偏好点击位置，从而改进网页布局。

所述监测到的数据记录方式可以是多种多样的，比如可以把操作日志打印在文本log中，也可以把定义好的数据保存在数据仓库中。

在步骤120处，将所述监测点监测到的用户数据存储于数据仓库。

本发明引进的所述数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合。它属于数据库的一个分支，用于支持管理决策(Decision Making Support)数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。从功能结构划分，数据仓库系统至少应该包含数据获取(DataAcquisition)、数据存储(Data Storage)、数据访问(Data Access)三个关键部分。

为了利用数据仓库实现面向主题的设计，有必要累积大量的细分的用户数据，该些用户数据可以包括例如由Action_ID定义的网站在某个页面和节点的用户行为数据，该些数据可以优选分为5类：

初访页面类Action：用于记录页面UV，通常在用户通过某个来源访问到的第一个页面进行记录。由于此类日志的条数太多，原则上不入库，只是根据多个二级来源ID(Sub_Source_ID)进行统计，存储统计结果。

注册激活类Action：用户记录用户在注册和激活过程中的行为。此类日志定期存入数据库；

站内登录类Action：记录用户登录类型的用户行为。此类日志定期存入数据库；

站内消费类Action：记录站内用户消费充值类型的用户行为。此类日志定期存入数据库；以及

站内普通类Action：记录除前两类之外的其他类型的用户行为。此类日志定期存入数据库。

其中，上述各Action的保存时限可以自行设定，例如，注册激活和站内普通类Action的数据库应保存至少2个月以上，便于长期跟踪和分析运营数据。用户登录类Action的数据库应保存至少2个月以上，便于长期跟踪和分析运营数据。用户消费类Action的数据库应保存至少2个月以上，便于长期跟踪分析运营数据。注册激活和站内普通类Action的日志应保存至少2个月以上。

同时，还可以定义上述Action_ID用户行为的记录规则，仅作为示例，可以参见表1。

表1

前述的用户数据还包括用户来源的数据，例如用户来源可以由Source_ID(一级来源ID)和Sub_Source_ID(二级来源ID)来定义。

一级来源ID不在URL参数和Action表中体现，二级来源ID在数据仓库和Action日志中的参数名称为S1，在URL表中的参数名称为”SS”(Sub Source的缩写)。

在邮件邀请、链接邀请和渠道的来源中，SS_ID可以分配给上千种不同的二级来源。统计时可以根据需要按照一级或二级来源来分类统计。仅作为示例，一级二级来源对应关系可以参见下表2。1

表2

上表中，相同的Source_ID和Sub_Source_ID号意味着二级来源没有对一级来源细分。本领域技术人员可以理解，有必要的话，还可以对二级来源作进一步的细分，例如三级来源。

上面详细描述了数据的分类和记录方法，本领域技术应该理解，可以有其他的分类和记录方法。该些分类和记录方法实质即构成数据存储进数据仓库的方法。

为了有利于数据的抽取和分析，本发明进一步提出了其他方面的数据存储方法，根据所述数据存储方法，将极大地加强数据的整合能力、极大地增强数据的抽取和分析能力。根据本发明的数据存储方法，还在于包括：

第一、建立极尽详细的元数据，在本方法中，着重收集的数据例如包括用户ip、访问时间、用户的id、游戏代码、游戏服务器、操作标志等等。

第二、把用户产生的明细数据，按照特定的规则，进行梳理。在梳理的过程中，可以使用目前先进的数据库存储引擎，比如MysqlInnodb，Infobright等。

第三、把用户操作数据进行细分。以登录的数据为例，可以按月拆分，每个月的数据形成一张表。

传统的数据存储方式，例如如下表3所示，每个操作行为产生一条数据，日积月累，数据变得繁重不堪，查询也很慢，效率运行也很低。

表3

序号	时间	用户id	游戏代码	游戏服务器	其他属性
						1	2011-11-08	12345	ddt	x1	....
2	2011-11-08	67890	ddt	x1	....

3	2011-11-08	12345	frg	x1	....
						4	2011-11-09	12345	ddt	x1	....
5	2011-11-11	12345	ddt	x2	....
						6	2011-11-08	67890	frg	x2	....
7	2011-11-12	12345	ddt	x1	....

对于该传统的存储方式，例如在计算用户的登录情况时，不得不使用复杂的查询语句：

Select count(*)from数据库表where xxxx

下表4为本发明提出的存储方式示例：

表4

序号	用户id	游戏代码	游戏服务器	月度登录明细
					1	12345	ddt	x1	000000011001000000000000000000
2	12345	ddt	x2	000000000010000000000000000000
					3	12345	frg	x1	000000010000000000000000000000
4	67890	ddt	x1	000000010000000000000000000000
					5	67890	frg	x2	000000010000000000000000000000

在该示例中，把用户ID作为优先归类的项。通过该种方法，在计算每个用户单独游戏、服登录时，只需计算“月度登录明细”字段中1的个数，即可判断该用户当月对该游戏登录的贡献情况。

作为上述示例的分类、记录方式以及存储方式，其意义在于非常有利于构建上述数据仓库，非常有利于后续提及的用户数据的抽取、分析。这对于一个高效、快速运转的数据分析或提取系统，是至关重要的。

按照上面描述的详细的数据监测和记录方法，我们将非常方便地进行下一步操作。

在步骤130处，分析由数据仓库抽取的数据。

在该步骤中，所述抽取包括多维度地抽取所述数据仓库中的数据。所述维度例如用户ID构成一个维度，充值数据构成一个维度等等。所述抽取还可以包括以日报或月报的方式抽取所述数据仓库中的数据。抽取所述数据还可以包括自动以邮件或报表的方式展现数据。所述用户数据可以包括业务数据。

正是由于前面强大的数据组织和存储方法，一些强大的分析成为可能，本领域技术人员通过上述方法可以实现的分析除了普通的用户行为点击记录外，还可以对收集到的数据进行深度分析，例如包括登陆统计分析、收入统计分析、ARPU贡献维度分析，KPI指标计算以及其他的用户行为分析。登陆统计分析可以进一步包括用户保留率分析、梯度表(因其表类似梯度而得名)分析、次登分析(即次日登陆的用户分析)；收入统计分析可以包括游戏用户充值分析。其他用户行为分析还可以包括、活跃用户分析等等。还可以对抽取的数据进行方差/标准差的计算，通过对用户数据分布(分布计算可以使用正态分布)的分析，找到游戏、用户、充值，三者之间的均衡点；

下面表5为新用户保留率的梯度表示例

表5

下表6为活跃用户的提取与付费率的计算示例：

表6

步骤S140处，结束。

下面为一些分析中用到的术语的定义。

其中，所述KPI是指关键绩效指标法(Key Performance Indicator，KPI)，它把对绩效的评估简化为对几个关键指标的考核，将关键指标当作评估标准，把员工的绩效与关键指标作出比较地评估方法，在一定程度上可以说是目标管理法与帕累托定律的有效结合。

所述ARPU是指ARPU就是每用户平均收入(ARPU-AverageRevenue Per User)。ARPU注重的是一个时间段内运营商从每个用户所得到的利润。很明显，高端的用户越多，ARPU越高。在这个时间段，从运营商的运营情况来看，ARPU值高说明利润高，这段时间效益好。ARPU是给股东的，投资商不仅要看企业现在的赢利能力，更关注企业的发展能力。ARPU值高，则企业的目前利润值较高，发展前景好，有投资可行性。

活跃用户数的定义即每月登录两次及两次以上的用户记为一个活跃用户；

付费率：付费率的定义为排重付费人数/活跃用户数。

毛收入：是指主营业务收入只减主营业务成本。公式为游戏收入-运营成本。

纯收入：是毛收入减去各项指出后剩下的收入，这个各项支出包括，折旧、提留、福利、股息、利息等一切支出。公式为游戏收入-运营成本-运营费用。

下面图3，4为根据本发明方法的分析的示例。

图3为根据本发明方法的网站登录或活跃用户折线图示例，其中横轴表示时间，纵轴表示活跃用户数，图中直线表示趋势线。

图4为根据本发明方法的网站毛收入/纯收入的折线示例。其中横轴表示时间，纵轴表示收入，图中直线表示趋势线。

图5示出了根据本发明优选实施例的基于用户数据的网页分析系统500的方框图。其中包括，设置装置510，根据网页页面的分格对应定义监测点；存储装置520，将所述监测点监测到的用户数据积累存储于数据仓库；分析装置530，分析由数据仓库抽取的数据。

由于该网页分析系统与前述的网页分析方法实质上对应的关系。所述方法可以实现的功能或技术效果，同样可以适用于该系统。

所述设置装置510可以优选为根据页面的元素数量和布局，确定页面分格的数量和位置，进而定义监测点。还可以每隔一定时间调整网页页面的布局，此时，所述设置装置510重新在网页页面上分格地定义监测点，从而监测调整布局后的数据。

可以通过所述分析装置530抽取的数据分析结果，反馈调整网页页面的布局。

所述分析装置530可以包括以日报或月报的方式抽取所述数据仓库中的数据。所述分析装置530抽取所述数据可以包括自动以邮件或报表的方式展现数据。

由于可以以最大程度地支持维度的抽取、原始数据的抽取、业务数据的日报和月报。所分析装置530进一步实现的功能可以包括页面修改效果评估、用户登录、次登录折损率查询、用户充值分析、不同维度数据透视图、用户保留率、梯度表等。通过这些功能，帮助业务人员完成KPI指标、不同游戏的分成比率计算。所述比率的设置因不同业务的需求而设定，跟公司的绩效考核，目标设定相关。

对应上述进一步实现的功能，还可以在分析装置530中对应设置由例如登陆统计分析装置、收入统计分析装置、ARPU贡献维度分析装置，以及其他用户行为分析装置等的装置。

图6示出了适于用来实现本发明实施方式的计算机系统的框图。如图6所示，计算机系统可以包括：CPU(中央处理单元)601、RAM(随机存取存储器)602、ROM(只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器609、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些部件中，与系统总线604相连的有CPU 601、RAM602、ROM 603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605相连，键盘611与键盘控制器606相连，串行外部设备612与串行接口控制器607相连，并行外部设备613与并行接口控制器608相连，以及显示器614与显示控制器609相连。应当理解，图6所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明的限制。在某些情况下，可以根据需要增加或者减少其中的一些设备。

特别地，除硬件实施方式之外，本发明的实施方式可以通过计算机程序产品的形式实现。例如，参考图1描述的方法100可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图6所示的RAM 602、ROM 603、硬盘610和/或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机系统600上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图6中示出的CPU 601)执行的程序指令。

本发明还提供一种包含计算机可读程序的存储介质，当计算机可读程序由处理器执行时，其使得处理器按照本发明的实施方式来实现扩展移动通信终端的功能的方法。存储介质可以为任何有形媒介，例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。

上述描述的各种方面可以单独使用或者在各种组合中使用。本申请的教导可以通过硬件和软件的组合实现，但是也可以以硬件或软件实现。本申请的教导还可以具体化为计算机可读介质上的计算机程序产品，其可以是任何材料介质，诸如软盘、CD-ROM、DVD、硬盘驱动器乃至网络介质等。

已经出于示出和描述的目的给出了本发明的说明书，但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。本领域技术人员应当理解，本发明实施方式中的方法和装置可以以软件、硬件、固件或其组合实现。

因此，实施方式是为了更好地说明本发明的原理、实际应用以及使本领域技术人员中的其他人员能够理解以下内容而选择和描述的，即，在不脱离本发明精神的前提下，做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。

Claims (19)

1.一种基于用户数据的网页分析方法，包括：

根据网页页面的分格对应定义监测点；

将所述监测点监测到的用户数据存储于数据仓库；

分析由数据仓库抽取的数据。

2.根据权利要求1所述的方法，其特征还在于：所述定义监测点进一步包括根据页面的元素数量和位置，确定页面分格的数量和位置，进而定义监测点。

3.根据权利要求1所述的方法，其特征还在于：每隔一定时间调整网页页面的布局，进而在调整后的网页页面上分格地定义监测点，从而监测调整布局后的数据。

4.根据权利要求1所述的方法，进一步包括：根据所述数据分析结果，反馈调整网页页面的布局，再进一步在网页页面上分格地定义所述监测点。

5.根据权利要求1所述的方法，其特征还在于：所述抽取包括多维度地抽取所述数据仓库中的数据。

6.根据权利要求1所述的方法，其特征还在于：所述抽取包括以日报或月报的方式抽取所述数据仓库中的数据。

7.根据权利要求1所述的方法，其特征还在于：所述监测点包括人工定义或程序自动定义。

8.根据权利要求1所述的方法，其特征还在于：抽取所述数据包括自动以邮件或报表的方式展现数据。

9.根据权利要求1所述的方法，其特征还在于：所分析包括登陆统计分析、收入统计分析、ARPU贡献维度分析。

10.根据权利要求1所述的方法，其特征还在于：所述网页页面包括网页游戏页面。

11.一种基于用户数据的网页分析系统，包括：

设置装置，其根据网页页面的分格对应定义监测点；

存储装置，将所述监测点监测到的用户数据存储于数据仓库；

分析装置，分析由数据仓库抽取的数据。

12.根据权利要求所述的系统，其特征还在于：所述设置装置根据页面的元素数量和位置，确定页面分格的数量和位置，进而定义所述监测点。

13.根据权利要求11所述的系统，其特征还在于：每隔一定时间调整网页页面的布局时，所述设置装置重新在网页页面上分格地定义所述监测点，从而监测调整布局后的数据。

14.根据权利要求11所述的系统，其特征还在于：通过所述分析装置抽取的数据分析结果，反馈调整网页页面的布局。

15.根据权利要求11所述的系统，其特征还在于：所述分析装置包括以日报或月报的方式抽取所述数据仓库中的数据。

16.根据权利要求11所述的系统，其特征还在于：所述监测点包括人工定义或程序自动定义。

17.根据权利要求11所述的系统，其特征还在于：抽取所述数据包括自动以邮件或报表的方式展现数据。

18.根据权利要求11所述的系统，其特征还在于，所分析装置进一步包括登陆统计分析装置、收入统计分析装置和/或ARPU贡献维度分析装置。

19.根据权利要求11所述的系统，其特征还在于：所述网页包括网页游戏页面。

Images