CN113901325A - 用户行为分析装置及方法 - Google Patents

Abstract

本发明公开了一种用户行为分析装置及方法，所述装置包括：数据采集模块，用于基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；数据分析模块，用于基于所述用户数据对用户进行数据分析，得到用户数据分析结果；用户画像模块，用于基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

Description

用户行为分析装置及方法

技术领域

本发明涉及计算机技术领域，尤其是涉及一种用户行为分析装置及方法。

背景技术

在现有技术中，传统的用户行为分析主要基于应用系统或网站的日志文件，目前大多采用flume或rsyslog将这种半结构化的数据采集至关系型数据库中，再进行数据的查询分析工作。

发明内容

本发明的目的在于提供一种用户行为分析装置及方法，旨在解决现有技术中的上述问题。

本发明提供一种用户行为分析装置，包括：

数据采集模块，用于基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；

数据分析模块，用于基于所述用户数据对用户进行数据分析，得到用户数据分析结果；

用户画像模块，用于基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

本发明提供一种用户行为分析方法，包括：

基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；

基于所述用户数据对用户进行数据分析，得到用户数据分析结果；

基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

采用本发明实施例，可以分析用户跨终端平台的用户行为，能够通过系统展示用户的来源、用户引导/诱导、业务流程/场景转换、用户保持等丰富详尽的报表；依据丰富的报表，科学的决策，可以对评估营销推广、提升网站设计体验、提升关键业务流程转化、提高网站的投资回报，在网上获得更多的收益。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的用户行为分析装置的示意图；

图2是本发明实施例的用户行为分析装置的业务示意图；

图3是本发明实施例的用户行为分析装置的部署示意图；

图4是本发明实施例的用户行为分析报表具体界面示意图；

图5是本发明实施例的用户画像具体界面的示意图；

图6是本发明实施例的用户行为分析方法的流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

装置实施例

根据本发明实施例，提供了一种用户行为分析装置，图1是本发明实施例的用户行为分析装置的示意图，用户行为分析首先要解决的是多终端多渠道的信息采集，并支持大数据量的实时分析过程，利用Hadoop大数据架构来解决大数量存储和查询性能低下的业务痛点。如图1所示，根据本发明实施例的用户行为分析装置具体包括：

数据采集模块10，用于基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；所述数据采集模块10用于：触发相应的采集接口，基于页面标签技术，通过页面插入js代码，在用户浏览系统进行每步骤操作时，触发所述js代码，通过用户端发送一个image的请求，进行PC、WAP系统数据请求的收集功能，将数据请求收集为log日志，实现对PC、WAP系统的用户访问数据的采集。所述数据采集模块10具体包括：

系统来源采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统用户来源信息，实现系统用户来源信息的采集，其中，所述系统用户来源信息的渠道包括：直接渠道、自然搜索引擎、搜索关键词、和/或者引荐系统；

系统用户采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统用户基本信息，实现采集系统用户基本信息，所述系统用户基本信息具体包括：用户的终端类型、用户终端屏幕的分辨率、用户使用的浏览器、和/或用户的访问地域；

系统页面采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记页面浏览信息，实现页面浏览信息的获取，其中，所述页面浏览信息具体包括：页面Url地址、页面标题、页面域名、和/或页面所属频道信息；

系统搜索采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统搜索信息，实现系统搜索信息的采集，其中，所述系统搜索信息具体包括：用户的搜索词、搜索词的属性、和/或搜索结果数量；

系统事件采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式来标点击元素和点击类型。

数据分析模块12，用于基于所述用户数据对用户进行数据分析，得到用户数据分析结果；所述数据分析模块12具体包括：

用户分析模块，用于基于所述用户数据，进行呈现所选期间内，用户每天的访问、流量、以及转化数据，并呈现所选期间内，用户的访问趋势；进行终端类型分析、设备品牌分析、屏幕分辨率分析、用户浏览网页使用的浏览器类型分析、用户地域分析、以及会员分析，并进行用户详情的详情展示；

来源分析模块，用于进行网站整体流量来源分析，其中网站整体流量来源具体包括以下至少之一：广告来源、引荐来源，自然搜索、直接流量；

站内分析模块，用于对网站的每个页面流量和行为进行分析，对网站的搜索功能进行分析，监测用户搜索的内容和搜索的结果，监测用户交互情况，对网站一些重点的元素进行点击分析；

UE分析模块，用于通过特殊高亮的形式，对用户在网站上的点击操作进行展示，显示客热衷的页面区域。

用户画像模块14，用于基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。所述用户画像模块14具体用于：

通过采集的用户数据，进行数据内容解析和标签化处理建立包括用户画像属性标签信息库与用户画像行为标签信息库的用户画像标签系统，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户的搜索关键词、搜索点击的内容，精准定位和研判用户需求，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐，其中，所述用户画像属性标签信息库具体包括：用户地域、用户特征、用户频率、用户终端、用户互动、用户分类、用户办理行为、以及用户服务；具体地：

通过采集的用户数据进行分析，汇总全局热搜，分类热度，主题热度，关键词热度进行热度推荐；

通过采集点击相似用户、兴趣分类相似用户，兴趣主题相似用户，兴趣词相似，通过用户行为分析不同用户间相似性，实现协同过滤；

评估内容的属性与用户是否匹配进行内容相关性推荐，并分析页面与页面点击动作之间的关联关系，形成推荐特征库。

本发明实施例的技术方案，既能实现高可靠的数据采集，又能保障TB级的数据稳定的落入分布式数据库中，同时具备维度交叉自定义分析和点击热力图的创新展示。已经海量数据采集和行为分析的具体实施成功案例。

与现有技术相比，本发明有如下优点：

1、实现对每一个用户的标签画像，精准定位用户需求；

2、基于业务特色，支持用户画像分析报告，整体分析网站、业务平台用户属性；

3、提供个性化推送接口，门户网站、移动App、业务平台前端页面可直接调用个性化推送接口；获取推送内容；

4、个性化推送功能，支持在网站首页、栏目页、内容页均可调用接口，实现个性化推送，让网站服务更加智能化，便捷化，提升政府服务水平。

以下结合附图，对本发明实施例的上述技术方案进行举例说明。

用户行为分析装置及系统，由数据采集、用户分析、来源分析、站内分析、UE分析、用户画像组成。数据采集基于Spark Streaming实时流技术，实现了非侵入式的数据采集、数据落地和实时同步功能；并进行用户分析、来源分析、站内分析、以及UE分析；用户画像，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征、精准研判用户的需求。

图2是本发明实施例的用户行为分析装置的业务示意图，如图2所示：

(1)数据采集

1)数据采集技术：

用户行为分析装置及系统，支持页面标签技术，通过页面插入js代码，用户浏览系统进行每步骤操作时，触发js代码，通过用户端发送一个image的请求，实现对PC、WAP系统的用户访问数据的采集。数据发送量很小，不会影响业务及性能。

2)采集接口规范：

系统来源采集接口：

系统来源信息采集，需要使用js脚本语言进行开发，调用浏览器接口(或者Http协议)采集系统用户来源渠道信息；通过采集来源信息，实现来源渠道的分析，涵盖直接渠道、自然搜索引擎、搜索关键词、引荐系统等渠道。

用户来源信息，需要通过Http协议进行传输，以特定Url参数进行数据标记，方便后期数据处理与分析。

系统用户采集接口：

系统用户信息采集，需要使用js脚本语言开发，调用浏览器接口，来获取用户特征数据，涵盖：用户的终端类型、用户终端屏幕的分辨率、用户使用的浏览器、用户的访问地域等信息。

系统用户信息，需要通过Http协议进行数据传输，以特定的Url参数方式来标记用户终端、用户分辨率、用户浏览器、用户访问地域等信息，方便后期数据处理与分析。

系统页面采集接口：

系统页面信息采集，需要js调用浏览器接口，来获取页面的浏览信息，涵盖：页面Url地址、页面标题、页面域名、页面所属频道信息。

系统页面信息，需要通过Http协议进行数据传输，以特定的Url参数方式来标记页面Url地址、页面标题、页面域名、页面频道等信息，方便后期数据处理与分析。

系统搜索采集接口：

系统搜索信息采集，需要使用js脚本语言，开发特定的站内搜索接口，当用户进行站内搜索时，来获取站内搜索的信息，涵盖：用户的搜索词、搜索词的属性、搜索结果数量等。

系统搜索信息，需要通过Http协议进行数据传输，以特定的Url参数方式来标记搜索词、搜索词的属性、搜索结果数量等，方便后期数据处理与分析。

系统事件采集接口：

系统事件信息采集，需要使用js脚本语言，开发特定的事件接口，当用户点击特定元素时，来获取点击元素和点击类型信息。

系统事件信息，需要通过Http协议进行数据传输，以特定的Url参数方式来标点击元素和点击类型，方便后期数据处理与分析。

3)接口调用方法：

针对不同的系统，用户行为分析装置及系统需要进行适配，给出相应的代码加载方案，涵盖基本代码与特定的代码。系统开发单位需要在对应的系统页面中嵌入代码，基本代码需要在系统所有页面中进行嵌入，特定的代码需要根据代码加载方案中的规范，进行特定的方式触发接口，传输相应的参数进行数据采集。

4)数据收集方式：

用户行为分析装置及系统支持PC、WAP系统数据请求的收集功能，将数据请求收集为log日志，保证数据收集的性能和数据的安全性。

(2)用户分析

用户概览：呈现所选期间内，用户每天的访问、流量、转化数据；访问时段：呈现所选期间内，用户在24小时内的访问趋势；

终端品牌：所有访问使用的终端类型，分为移动和桌面；

设备品牌：用户使用移动设备的品牌和型号；

屏幕分辨率：用户使用终端的屏幕分辨率；

浏览器：用户浏览网页使用的浏览器类型；

用户地域：访问用户所在的地域信息，维度涵盖：国家、省份、城市、区县；

会员分析：针对登陆的用户，进行单体分析，涵盖登陆用户ID、访问量、地域、来源、偏好、交互、搜索关注的商品、提交订单、金额等；

用户详情：针对每一个来访的访问者，详细的展示出单个用户的信息，涵盖：IP、用户ID、访客类型、用户来源、来访时间、访问终端、访问轨迹、访问时长等数据。

(3)来源分析

全部流量：网站整体流量来源，分为广告来源、引荐来源，自然搜索、直接流量；

广告来源：用户点击广告的流量，主要分析维度涵盖：广告来源、广告媒介、广告活动、广告创意、广告关键词；

引荐来源：用户从引荐网站到达的流，主要分析维度涵盖：引荐网站、引荐URL地址；

自然搜索：用户从免费搜索渠道到达的流量，主要维度为自然搜索引擎、搜索关键词；

直接流量：用户直接输入url地址或者从收藏夹中直接访问。

(4)站内分析

站内页面：对网站的每个页面流量和行为进行分析，维度涵盖页面、进站页、退出页、主机名等；

站内搜索：对网站的搜索功能进行分析，监测用户搜索的内容、搜索的结果；

自定义事件：监测用户交互情况，对网站一些重点的元素进行点击分析，如重点的按钮、选择、链接等。

(5)UE分析

点击热力图：通过特殊高亮的形式，对用户在网站上的点击操作进行展示，显示客热衷的页面区域；热力图可以进行颜色过滤和背景过滤；同时，可以对特定范围的数据进行圈选。

(6)用户画像

1)用户画像及个性化推荐系统，通过采集的信息，进行数据内容解析和标签化处理建立了用户画像属性标签信息库与用户画像行为标签信息库，详细记录了用户的使用情况。

用户属性标签信息库.主要涵盖

用户地域：ip地址，国家、省份、城市

用户特征:用户来源、引荐地址、来源类型、cookie、用户id、用户属性

用户频率：新老用户、访问频率、月访问次数、访问间隔、访问时长用户终端：pc、wap、app、应用系统、浏览器、系统、网络特征。

用户画像行为标签信息库主要涵盖：

用户互动：搜索次数，点击次数、交互模块、交互元素

用户分类:用户兴趣、用户偏好、用户分组、用户群组

用户办理行为：信息提交、办理时长、重复浏览、服务关联

用户服务：服务类别、服务属性、服务名称、服务步骤、服务转化、服务流失。

2)系统采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户的搜索关键词，搜索点击的内容，可以精准定位了用户的需求，精准研判用户的需求；

3)系统实时通用的推荐接口，可以在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐。目前支持3中推荐的方式：

热度推荐：通过采集的信息，进行分析，汇总全局热搜，分类热度，主题热度，关键词热度(热度信息在冷启动时非常有效)

协同过滤：通过采集点击相似用户、兴趣分类相似用户，兴趣主题相似用户，兴趣词相似，用户通过用户行为分析不同用户间相似性。

内容相关性推荐：即评估内容的属性与用户是否匹配，包括关键词匹配，分类匹配，主题匹配；

分析页面与页面、点击动作之间的关联关系，形成一个推荐的特征库。

例如用户首次来到网站或者app，可以通过之前采集的数据，分析全局热搜，分类热度，主题热度，关键词热度等信息，想热门信息通过接口返回给页面，给用户进行展示。

图3是本发明实施例的用户行为分析装置的部署示意图，如图3所示，

数据采集：从源数据服务器连接数据推送服务器，实时采集服务器从数据推送服务器中获取数据，将数据进行格式转换，通过计算节点(计算存储节点1，计算存储节点2，计算存储节点3)实时的落入分布式数据库中。

用户行为分析及画像系统：将Hbase中的数据通过外部表的形式映射到hive中，使用Sqoop将数据从Hive导入关系型数据库中，结合presto的即席查询功能使业务指标通过计算存储节点计算，并存入关系型数据库服务器，应用服务器中部署用户行为分析和画像的前端展示系统。在图3中，管理节点未各服务集群环境的管理节点。文件服务器用于存放各系统的用户行为日志文件。用户行为日志文件是指在数据清洗、处理后，会生成用户行为分析的相关统计结果。上述Hadoop、Hbase、Hive等相关的分布式数据库、以及Spark等分布式数据处理组件，都是部署在由“管理节点”、“计算存储节点”组成的集群环境中的。

实例1：

已将该装置应用在30TB某用户行为数据的采集及数据分析上，数据采集过程中数据一直稳定采集，数据实时分析一直保持实时更新状态。

1)实时性：每5分钟处理30W条数据。

2)装置的可扩展性：已根据采集数据的存储量级横向扩展采集的存储装置。

3)用户行为分析:通过建立用户属性信息库与用户行为信息库，详细记录了用户是谁(来源、地域、属性、使用终端)、用户看了什么(新闻、政策、解读)、用户查了什么(站内外搜索了哪些关键词)、用户用了哪些服务(使用了哪些服务、服务效果如何)、用户咨询了什么问题(咨询情况如何)、用户评价如何(对政务服务过程如何评价，进行了哪些投诉)。并通过维度交叉实现用户分析报表、来源分析报表、站内分析报表、UE分析点击热力图和用户画像。用户行为分析报表具体界面见图4、用户画像具体界面见图5。

综上所述，本发明实施例的技术方案提供了一种以用户为中心的、跨屏的、用户行为数据分析系统。其大数据技术是基于hadoop、spark等大数据技术架构，数据无限增长，也可轻松应对。此外，本发明实施的技术方案可以PC站、M站、ios、Android跨屏汇总，一个平台全搞定。以用户为中心的数据分析，用户行为、属性、兴趣偏好、标签、画像，支持对用户进行更深入察。与业务高度契合，更切合业务的数据维度与指标体系。能够数据可视化，饼图、曲线图、柱状图，多种可视化自由切换，发现数据之美。具有高度灵活性，可以自定义报表、维度自由对比、自定义指标、维度交叉分析，满足每一个更细致的数据分析需求。

方法实施例

根据本发明实施例，提供了一种用户行为分析方法，图6是本发明实施例的用户行为分析方法的流程图，如图6所示，根据本发明实施例的用户行为分析方法具体包括：

步骤601，基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；步骤601具体包括：

触发相应的采集接口，基于页面标签技术，通过页面插入js代码，在用户浏览系统进行每步骤操作时，触发所述js代码，通过用户端发送一个image的请求，进行PC、WAP系统数据请求的收集功能，将数据请求收集为log日志，实现对PC、WAP系统的用户访问数据的采集。具体地：

触发系统来源采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统用户来源信息，实现系统用户来源信息的采集，其中，所述系统用户来源信息的渠道包括：直接渠道、自然搜索引擎、搜索关键词、和/或者引荐系统；

触发系统用户采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统用户基本信息，实现采集系统用户基本信息，所述系统用户基本信息具体包括：用户的终端类型、用户终端屏幕的分辨率、用户使用的浏览器、和/或用户的访问地域；

触发系统页面采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记页面浏览信息，实现页面浏览信息的获取，其中，所述页面浏览信息具体包括：页面Url地址、页面标题、页面域名、和/或页面所属频道信息；

触发系统搜索采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统搜索信息，实现系统搜索信息的采集，其中，所述系统搜索信息具体包括：用户的搜索词、搜索词的属性、和/或搜索结果数量；

触发系统事件采集接口，通过Http协议进行数据传输，以特定的Url参数方式来标点击元素和点击类型。

步骤602，基于所述用户数据对用户进行数据分析，得到用户数据分析结果；步骤602具体包括：

基于所述用户数据，进行呈现所选期间内，用户每天的访问、流量、以及转化数据，并呈现所选期间内，用户的访问趋势；进行终端类型分析、设备品牌分析、屏幕分辨率分析、用户浏览网页使用的浏览器类型分析、用户地域分析、以及会员分析，并进行用户详情的详情展示；

进行网站整体流量来源分析，其中网站整体流量来源具体包括以下至少之一：广告来源、引荐来源，自然搜索、直接流量；

对网站的每个页面流量和行为进行分析，对网站的搜索功能进行分析，监测用户搜索的内容和搜索的结果，监测用户交互情况，对网站一些重点的元素进行点击分析；

通过特殊高亮的形式，对用户在网站上的点击操作进行展示，显示客热衷的页面区域；

步骤603，基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

步骤603具体包括：

通过采集的用户数据，进行数据内容解析和标签化处理建立包括用户画像属性标签信息库与用户画像行为标签信息库的用户画像标签系统，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户的搜索关键词、搜索点击的内容，精准定位和研判用户需求，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐，其中，所述用户画像属性标签信息库具体包括：用户地域、用户特征、用户频率、用户终端、用户互动、用户分类、用户办理行为、以及用户服务；

其中，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐具体包括：

通过采集的用户数据进行分析，汇总全局热搜，分类热度，主题热度，关键词热度进行热度推荐；

通过采集点击相似用户、兴趣分类相似用户，兴趣主题相似用户，兴趣词相似，通过用户行为分析不同用户间相似性，实现协同过滤；

评估内容的属性与用户是否匹配进行内容相关性推荐，并分析页面与页面点击动作之间的关联关系，形成推荐特征库。

本发明实施例的技术方案的跨平台分析工具，功能强大，需要在网站页面及app中进行嵌码，可以分析用户跨终端平台的用户行为；系统展示了用户的来源、用户引导/诱导、业务流程/场景转换、用户保持等丰富详尽的报表；依据丰富的报表，科学的决策，可以对评估营销推广、提升网站设计体验、提升关键业务流程转化、提高网站的投资回报，在网上获得更多的收益。

本发明实施例是与上述装置实施例对应的方法系统实施例，各个步骤的具体操作可以参照装置实施例的描述进行理解，在此不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种用户行为分析装置，其特征在于，包括：

数据采集模块，用于基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；

数据分析模块，用于基于所述用户数据对用户进行数据分析，得到用户数据分析结果；

用户画像模块，用于基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

2.根据权利要求1所述的装置，其特征在于，所述数据采集模块用于：触发相应的采集接口，基于页面标签技术，通过页面插入js代码，在用户浏览系统进行每步骤操作时，触发所述js代码，通过用户端发送一个image的请求，进行PC、WAP系统数据请求的收集功能，将数据请求收集为log日志，实现对PC、WAP系统的用户访问数据的采集。

3.根据权利要求2所述的装置，其特征在于，所述数据采集模块具体包括：

系统来源采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统用户来源信息，实现系统用户来源信息的采集，其中，所述系统用户来源信息的渠道包括：直接渠道、自然搜索引擎、搜索关键词、和/或者引荐系统；

系统用户采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统用户基本信息，实现采集系统用户基本信息，所述系统用户基本信息具体包括：用户的终端类型、用户终端屏幕的分辨率、用户使用的浏览器、和/或用户的访问地域；

系统页面采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记页面浏览信息，实现页面浏览信息的获取，其中，所述页面浏览信息具体包括：页面Url地址、页面标题、页面域名、和/或页面所属频道信息；

系统搜索采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式标记系统搜索信息，实现系统搜索信息的采集，其中，所述系统搜索信息具体包括：用户的搜索词、搜索词的属性、和/或搜索结果数量；

系统事件采集接口，用于通过Http协议进行数据传输，以特定的Url参数方式来标点击元素和点击类型。

4.根据权利要求1所述的装置，其特征在于，所述数据分析模块具体包括：

用户分析模块，用于基于所述用户数据，进行呈现所选期间内，用户每天的访问、流量、以及转化数据，并呈现所选期间内，用户的访问趋势；进行终端类型分析、设备品牌分析、屏幕分辨率分析、用户浏览网页使用的浏览器类型分析、用户地域分析、以及会员分析，并进行用户详情的详情展示；

来源分析模块，用于进行网站整体流量来源分析，其中网站整体流量来源具体包括以下至少之一：广告来源、引荐来源，自然搜索、直接流量；

站内分析模块，用于对网站的每个页面流量和行为进行分析，对网站的搜索功能进行分析，监测用户搜索的内容和搜索的结果，监测用户交互情况，对网站一些重点的元素进行点击分析；

UE分析模块，用于通过特殊高亮的形式，对用户在网站上的点击操作进行展示，显示客热衷的页面区域。

5.根据权利要求1所述的装置，其特征在于，所述用户画像模块具体用于：

通过采集的用户数据，进行数据内容解析和标签化处理建立包括用户画像属性标签信息库与用户画像行为标签信息库的用户画像标签系统，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户的搜索关键词、搜索点击的内容，精准定位和研判用户需求，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐，其中，所述用户画像属性标签信息库具体包括：用户地域、用户特征、用户频率、用户终端、用户互动、用户分类、用户办理行为、以及用户服务。

6.根据权利要求5所述的装置，其特征在于，所述用户画像模块具体用于：

通过采集的用户数据进行分析，汇总全局热搜，分类热度，主题热度，关键词热度进行热度推荐；

通过采集点击相似用户、兴趣分类相似用户，兴趣主题相似用户，兴趣词相似，通过用户行为分析不同用户间相似性，实现协同过滤；

评估内容的属性与用户是否匹配进行内容相关性推荐，并分析页面与页面点击动作之间的关联关系，形成推荐特征库。

7.一种用户行为分析方法，其特征在于，包括：

基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据；

基于所述用户数据对用户进行数据分析，得到用户数据分析结果；

基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像。

8.根据权利要求7所述的方法，其特征在于，基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据具体包括：

触发相应的采集接口，基于页面标签技术，通过页面插入js代码，在用户浏览系统进行每步骤操作时，触发所述js代码，通过用户端发送一个image的请求，进行PC、WAP系统数据请求的收集功能，将数据请求收集为log日志，实现对PC、WAP系统的用户访问数据的采集。

9.根据权利要求7所述的，其特征在于，基于Spark Streaming实时流技术，进行非侵入式数据采集、数据落地和数据实时同步，获取用户数据具体包括：

触发系统来源采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统用户来源信息，实现系统用户来源信息的采集，其中，所述系统用户来源信息的渠道包括：直接渠道、自然搜索引擎、搜索关键词、和/或者引荐系统；

触发系统用户采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统用户基本信息，实现采集系统用户基本信息，所述系统用户基本信息具体包括：用户的终端类型、用户终端屏幕的分辨率、用户使用的浏览器、和/或用户的访问地域；

触发系统页面采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记页面浏览信息，实现页面浏览信息的获取，其中，所述页面浏览信息具体包括：页面Url地址、页面标题、页面域名、和/或页面所属频道信息；

触发系统搜索采集接口，通过Http协议进行数据传输，以特定的Url参数方式标记系统搜索信息，实现系统搜索信息的采集，其中，所述系统搜索信息具体包括：用户的搜索词、搜索词的属性、和/或搜索结果数量；

触发系统事件采集接口，通过Http协议进行数据传输，以特定的Url参数方式来标点击元素和点击类型。

10.根据权利要求7所述的方法，其特征在于，

基于所述用户数据对用户进行数据分析，得到用户数据分析结果具体用于：

基于所述用户数据，进行呈现所选期间内，用户每天的访问、流量、以及转化数据，并呈现所选期间内，用户的访问趋势；进行终端类型分析、设备品牌分析、屏幕分辨率分析、用户浏览网页使用的浏览器类型分析、用户地域分析、以及会员分析，并进行用户详情的详情展示；

进行网站整体流量来源分析，其中网站整体流量来源具体包括以下至少之一：广告来源、引荐来源，自然搜索、直接流量；

对网站的每个页面流量和行为进行分析，对网站的搜索功能进行分析，监测用户搜索的内容和搜索的结果，监测用户交互情况，对网站一些重点的元素进行点击分析；

通过特殊高亮的形式，对用户在网站上的点击操作进行展示，显示客热衷的页面区域；

基于所述用户数据分析结果，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户特征进行用于研判用户需求的用户画像具体包括：

通过采集的用户数据，进行数据内容解析和标签化处理建立包括用户画像属性标签信息库与用户画像行为标签信息库的用户画像标签系统，采用推荐过滤及机器学习算法，基于用户画像标签系统获取的用户的搜索关键词、搜索点击的内容，精准定位和研判用户需求，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐，其中，所述用户画像属性标签信息库具体包括：用户地域、用户特征、用户频率、用户终端、用户互动、用户分类、用户办理行为、以及用户服务；

其中，在门户网站、移动App、业务平台建立个性化推送窗口实现个性化内容及服务的推荐具体包括：

通过采集的用户数据进行分析，汇总全局热搜，分类热度，主题热度，关键词热度进行热度推荐；

通过采集点击相似用户、兴趣分类相似用户，兴趣主题相似用户，兴趣词相似，通过用户行为分析不同用户间相似性，实现协同过滤；

评估内容的属性与用户是否匹配进行内容相关性推荐，并分析页面与页面点击动作之间的关联关系，形成推荐特征库。

Images