CN104767628A - 用户体验质量评估方法及装置 - Google Patents

Abstract

本发明公开了一种用户体验质量评估方法及装置。其中，该方法包括：根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，第二类用户是与业务服务的密切程度小于预设密切程度的用户；对第一类用户进行第一用户体验质量QOE评估。通过本发明，达到了提高QOE的准确性和实用价值的效果。

Description

用户体验质量评估方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种用户体验质量评估方法及装置。

背景技术

当前移动互联网业务发展迅速，移动互联网用户激增，运营商关注移动互联网用户的上网体验。对运营商来说，当同类竞争产品之间的功能相差不大时，用户体验将提升为产品的核心价值。

运营商的一切规划活动和网络业务的规划优化，都要以用户体验为中心。用户体验将是无线3G、数据业务、宽带专线业务竞争的核心，用户体验质量（Quality of Experience，简称为QOE）必将成为时代的热门话题。如何保证给客户提供高质量的网络服务质量，提高客户对品牌的认可度，以及保持客户的忠诚度成为至关重要的问题。对于新客户，如何有更加直观有效的说服力，对于老客户，如何定期为其提供网络服务质量报告，让客户清楚的知道网络服务质量的好坏，保证不会因为主观因素而退网流失，这些都是摆在移动运营商面前必须尽快解决的问题。

QOE是用户端到端的概念，是指用户对业务的主观体验，是从用户的角度感觉到的系统的整体性能，因此，QOE是客户对服务商整体满意度的衡量。

QOE与服务质量（Quality of Service，简称为QOS）既密切相关又不尽相同，QOS主要体现这样的概念：可测量、改进和有保障的硬件及软件特征。相比而言，QOE代表用户客观及主观满意度（即QOE定义在用户层面，用户实际感受到的网络和业务的QOS就是QOE），QOE是QOS在用户心目中的主观体现。

当前的QOE评估主要是根据QOS来进行的评估，但是QOS无法反应用户个体间的差异，例如：对于同样的QQ业务服务，有些用户喜欢全天挂在QQ上，发送接收消息频繁，有些用户只是偶尔使用。对于频繁使用QQ业务的用户或偶尔使用QQ业务的用户而言，对QQ业务服务很可能具有不同的期望值，这将导致同样的服务质量不同的感知体验。

针对相关技术中用户感知评估技术只通过服务质量评估用户感知，没有考虑用户个体差异的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种用户体验质量评估方法及装置，以至少解决上述相关技术中用户感知评估技术只通过服务质量评估用户感知，没有考虑用户个体差异的问题。

根据本发明的一个方面，提供了一种用户体验质量评估方法，包括：根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，第二类用户是与业务服务的密切程度小于预设密切程度的用户；对第一类用户进行第一用户体验质量（QOE）评估。

优选地，预设密切程度包括以下因素的至少之一：用户使用业务服务的次数、用户使用业务服务的时间、用户使用业务服务的频率、用户使用所述业务服务的流量。

优选地，对第二类用户进行第二QOE评估；或者将第二类用户过滤掉，不再对第二类用户进行QOE评估。

优选地，在根据用户的行为特征指标对用户进行分类之前，包括：对用户的行为特征进行分析，获取行为特征指标，其中，行为特征指标能够反映行为特征。

优选地，行为特征包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。

优选地，当行为特征为使用网页浏览业务的情况下，行为特征指标包括以下至少之一：下载速率、首页打开时延、网页完整下载速率、首页响应时延。

根据本发明的另一方面，提供了一种用户体验质量评估装置，包括：分类模块，用于根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，第二类用户是与业务服务的密切程度小于预设密切程度的用户；评估模块，用于对第一类用户进行第一用户体验质量QOE评估。

优选地，预设密切程度包括以下因素的至少之一：用户使用业务服务的次数、用户使用业务服务的时间、用户使用业务服务的频率、用户使用所述业务服务的流量。

优选地，评估模块，还用于对第二类用户进行第二QOE评估；该装置还包括：过滤模块，用于将第二类用户过滤掉，不再对第二类用户进行QOE评估。

优选地，行为特征包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。

通过本发明，采用对使用业务服务的用户进行分类，再对与业务服务的密切程度不同的不同类别的用户进行QOE评估的方式，解决了相关技术中用户感知评估技术只通过服务质量评估用户感知，没有考虑用户个体差异的问题，这种评估方式可以考虑到用户的个体差异，使得感知评估结果更有针对性，进而达到了提升感知评估的实用价值的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的用户体验质量评估方法流程图；

图2是根据本发明实施例的用户体验质量评估装置的结构框图；

图3是根据本发明实施例的优选用户体验质量评估装置的结构框图；

图4是根据本发明优选实施例的用户感知评估流程示意图；

图5是根据本发明优选实施例的网页浏览业务流量用户数分布示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例主要涉及一种可以对筛选出的不同类别的用户进行不同用户体验质量评估的方法，其可以根据用户的行为特征、使用习惯对用户进行分类筛选，对不同种类用户的感知体验情况分别进行分析。对用户分类筛选后进行感知分析，感知分析中更注重用户个体的差异性，感知评估更有针对性，可大大提升感知评估的准确性和实用价值。

本实施例提供了一种用户体验质量评估方法。图1是根据本发明实施例的用户体验质量评估方法流程图，如图1所示，该方法主要包括以下步骤（步骤S102-步骤S104）：

步骤S102，根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，第二类用户是与业务服务的密切程度小于预设密切程度的用户；

步骤S104，对第一类用户进行第一用户体验质量QOE评估。

通过上述各个步骤，可以先对使用业务服务的用户进行分类，再对与业务服务的密切程度不同的不同类别的用户进行QOE评估，通过这样的差异化的用户体验质量评估方法，可以使得QOE评估更贴近用户感知，进而提高感知评估的准确性和实用价值。

在本实施例中，预设密切程度可以包括以下因素的至少之一：用户使用业务服务的次数、用户使用业务服务的时间、用户使用业务服务的频率、用户使用业务服务的流量。通过设置这些不同的考量因素或其组合，可以使预设密切程度作为对用户分类的分类指标变得更加细化和具体。当然，在实际应用中，这些考量因素的选取和设置可以因实际需要的不同而不同。

在本实施例中的一个优选实施方式中，既可以对第二类用户进行第二QOE评估（当然，第二QOE评估可以与第一QOE评估相同，也可以不同），还可以直接将第二类用户过滤掉，不再对第二类用户进行任何QOE评估。这样做的目的是，将与当前业务服务密切程度很低（比如很少使用当前业务服务）的用户隔离掉，不再考虑该类用户作为用户体验质量评估的对象，通过这种方式，可以减少业务服务提供商的评估工作量，节约评估成本，也方便服务提供商找到自己关心的用户群体。

在本实施例中，在执行步骤S102之前，可以先对用户的行为特征进行分析，获取行为特征指标，其中，行为特征指标能够反映行为特征。其中，行为特征可以包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。例如，当行为特征为使用网页浏览业务的情况下，行为特征指标可以包括以下至少之一：下载速率、首页打开时延、网页完整下载速率、首页响应时延。

当然，在实际应用中，用户的不同行为特征下，能够反映行为特征的行为特征指标是可以不同的，也就是说，如果用户的行为特征是使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务，或者其它多种不可穷尽列举种类的业务，其行为特征指标可以根据该具体业务的特点而确定。

例如，在实际应用中，上述用户体验质量评估方法可以通过以下几个步骤来实现：（1）对用户的行为特征进行分析，获取反映用户行为特征的指标；（2）确定筛选条件、筛选方法；（3）对用户进行分类筛选；（4）针对不同的用户群进行QOE评估。

本实施例还提供了一种用户体验质量评估装置，用于执行上述用户体验质量评估方法。图2是根据本发明实施例的用户体验质量评估装置的结构框图，如图2所示，该装置主要包括：分类模块10和评估模块20。其中，分类模块10，用于根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，第二类用户是与业务服务的密切程度小于预设密切程度的用户；评估模块20，用于对第一类用户进行第一用户体验质量QOE评估。

当然，在实际应用中，评估模块20还可以用于对第二类用户进行第二QOE评估。第二QOE评估可以与第一QOE评估采用相同的评估方式，也可以不同的评估方式。

图3是根据本发明实施例的优选用户体验质量评估装置的结构框图，如图3所示，优选用户体验质量评估装置还可以包括：过滤模块30，用于将第二类用户过滤掉，不再对第二类用户进行QOE评估。

在使用图2所示的用户体验质量评估装置或图3所示的优选用户体验质量评估装置的实施QOE评估过程中，需要用到的预设密切程度可以包括以下因素的至少之一：用户使用业务服务的次数、用户使用业务服务的时间、用户使用业务服务的频率、用户使用所述业务服务的流量。通过设置这些不同的考量因素或其组合，可以使预设密切程度作为对用户分类的分类指标变得更加细化和具体。当然，在实际应用中，这些考量因素的选取和设置可以因实际需要的不同而不同。

而且，需要用到的行为特征也可以包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。当然，在实际应用中，用户的不同行为特征下，能够反映行为特征的行为特征指标是可以不同的，也就是说，如果用户的行为特征是使用即时通讯业务、使用微波业务、使用在线影音业务、使用在线游戏业务，或者其它多种不可穷尽列举种类的业务，其行为特征指标可以根据该具体业务的特点而确定。

采用上述实施例提供的用户体验质量评估方法及装置，可以先对使用业务服务的用户进行分类，再对与业务服务的密切程度不同的不同类别的用户进行QOE评估，这种评估方式可以考虑到用户的个体差异，使得感知评估结果更有针对性，提升了感知评估的实用价值。

下面结合图4和图5以及优选实施例对上述实施例提供的用户体验质量评估方法及装置进行更加详细的描述或说明。

本优选实施例主要提供了一种可以通过用户筛选操作对不同的用户群体分别进行不同的QOE评估的方法。下面就什么情况下的用户属于不同的用户群体进行简要介绍，以微博为例，如果用户甲某天只登录了一下微博就退出了，而用户乙一天中一直在刷新发布微博，显然，用户甲的微博体验对微博的使用体验的影响不大或几乎没有影响，而用户乙的感知体验则和微博的使用体验有较大关系。在以下所述的本优选实施例中，要达到的实施目的就是可通过设置微博刷新次数的底限，将用户甲过滤掉或只对用户甲进行简单的QOE评估，让运营商更多的关注到用户乙这部分用户群体（这部分用户也可以称作为微博业务的有效用户）的感知情况。

本优选实施例的实施过程需要用到以下评估体系或功能模块，简要介绍如下：A、QOS指标体系，以业务关键性能指标和网络关键性能指标为基础的指标体系；B、QOE评估体系，通过一定的算法对用户的QOS指标进行计算，对用户QOE进行评估的体系；C、用于执行用户筛选（即进行用户分类）模块，可以根据用户的行为特征对用户进行筛选分类。执行用户筛选模块介于QOS指标体系和QOE评估体系之间。为方便对不同的用户群体感知情况进行评估，筛选条件和筛选方法可以根据实际情况设定。

图4是根据本发明优选实施例的用户感知评估流程示意图，如图4所示，该用户感知评估流程的处理步骤如下：

第一步：使用常用手段获取到网络用户的QOS感知指标；

第二步：对网络用户进行筛选分类，筛选方法可以根据实际需要确定（例如，可以根据用户的行为特征对用户进行筛选分类）；

第三步：对筛选后用户群进行QOE感知评估。

需要说明的是，上述第一步和第二步的执行并不需要区分先后顺序。

图5是根据本发明优选实施例的网页浏览业务流量用户数分布示意图，下面结合图5以网页浏览业务为例对本优选实施例作进一步的描述：

对网页浏览业务流量用户进行QOE的过程主要包括：

第一步，获取网页浏览业务服务质量评估相关指标，一般包括下载速率、首页打开时延、网页完整下载速率、首页响应时延等；

第二步，对网页浏览业务用户流量进行分析，假如流量用户数分布如图5所示，网页浏览业务流量为60-70M的用户人数最多，绝大部分用户流量在20-100M之间。那么我们可将用户分为3类，流量小于20M的用户，流量在20-100M之间的用户，流量大于100M的用户。

第三步，对这三类人员分布进行感知评估。对流量小于20M的用户分析是否感知较差导致流量较少，是否需要采取感知提升措施。对流量在20-100M之间用户感知进行评估，了解绝大部分用户的感知情况，对全网感知有全面了解。对流量大于100M的用户感知进行评估，这部分用户也是给运营商带来最多商业价值的用户，掌握这部分的用户的感知情况，并对这部分用户感知进行保障，以期给运营商带来更多的商业价值。

从上例可以看出，通过区分用户的行为特征和个体差异，感知评估更有针对性。提升了感知评估的实用价值。对于实际网络运营有重要的意义。

下面以QQ业务为例，介绍用户筛选在锁定有效用户方面的应用：

对于移动上网QQ业务用户，存在多种不同用户，第一类用户喜欢使用移动终端QQ聊天；第二类用户只是偶尔在移动终端上QQ聊天；第三类用户只是在移动终端上安装了QQ客户端，实验一下能否登陆成功和聊天，后面几乎没有使用。这几类用户的QQ业务数据都可以在海量的网络数据中扑捉到。对运营商来说，第一类用户是真正的QQ业务有效用户，如果QQ业务服务质量下降，将会对这部分人的感知有较大影响；而对于第二类和第三类用户，QQ业务的服务质量对他们的影响不大。运营商希望了解QQ业务有效用户的感知情况。下面介绍通过筛选对QQ业务有效用户进行打分的方法。

第一步，获取移动上网用户QQ业务指标；

第二步，设置QQ业务登录次数门限和QQ业务发送/接收次数门限；

第三步，筛选出QQ业务登录次数超过门限并且QQ业务发送/接收次数超过门限的用户，这部分用户是QQ业务有效用户；

第四步，根据用户的QQ业务指标，对筛选出的QQ业务有效用户的QQ业务感知情况进行评估。

从上例可以看出，通过设置门限，过滤掉QQ业务的无效用户，避免的无效用户的数据对用户的QQ业务群体感知评估结果产生影响。使得QQ业务的感知评估更具有针对性。同时，这样的筛选可以筛选掉网络中可能存在的垃圾数据，实际运营商得到的海量数据中，不可避免的存在垃圾数据，以QQ业务为例，不可避免的有可能存在数据的丢失，数据不合理的情况，比如有发送接收消息数据，但没有登录数据。这部分数据称之为垃圾数据。通过设置筛选条件，可以把垃圾数据过滤掉。提高了感知评估的科学性。

下面举例说明用户筛选在感知评估中可以影响感知评估算法的运用：

以新浪微博为例，新浪微博业务使用中有刷新和发布两种操作。不用的用户有不同的使用偏好，有些用户喜欢浏览，但很少发布微博，浏览微博的过程中涉及的操作只有刷新操作；有些用户是微博的活跃用户，经常发布微博，同时也喜欢浏览微博，这部分用户涉及到的微博操作是刷新和发布。对于这两类用户，因为使用习惯不同，涉及到的微博操作也不同。应该用不同的指标对这两类用户打分。对于喜欢浏览微博的用户，只用微博刷新相关的指标进行感知评估即可。对于喜欢发布微博和浏览微博的用户，则需要微博刷新指标和微博发布指标共同参与感知评估。实际感知评估流程如下：

第一步，获取用户微博业务使用数据；

第二步，考察用户微博刷新和微博发布次数，分析用户微博刷新次数占比和用户发布次数占比；

第三步，设置刷新占比门限和发布占比门限；

第四步，对发布占比小于门限值的用户只用微博刷新指标参与微博感知评估，对于刷新占比小于门限值的用只用微博发布指标参与微博感知评估。对于刷新占比和发布占比均超过门限值的用户则刷新指标和发布指标共同参与微博感知评估。

上述各例中，在现有感知评估方式中因为加入了用户行为特征的判断步骤，使得感知评估的指标更有针对性，从而可以大大提高了感知评估的准确性。

需要说明的是，上述几种方法只是举例描述，实际中可以使用的用户筛选方法不限于此。本优选实施例总的思想是按照用户的行为特征对用户进行分类筛选，这样的评估因为考虑到用户的个体差异，使得感知评估结果更有针对性，提升了感知评估的实用价值。

需要说明的是，上述各个模块是可以通过硬件来实现的。例如：一种处理器，包括上述各个模块，或者，上述各个模块分别位于一个处理器中。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

从以上的描述中，可以看出，本发明实现了如下技术效果：采用本发明所述方法，与现有QOE评估相比，通过区分用户个体行为的差异，评估不同用户群体的感知情况，方便运营商根据实际需要，筛选出希望关注的群体，提高了感知评估的准确性和实用价值。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户体验质量评估方法，其特征在于，包括：

根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，所述第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，所述第二类用户是与所述业务服务的密切程度小于所述预设密切程度的用户；

对所述第一类用户进行第一用户体验质量QOE评估。

2.根据权利要求1所述的方法，其特征在于，所述预设密切程度包括以下因素的至少之一：

用户使用所述业务服务的次数、用户使用所述业务服务的时间、用户使用所述业务服务的频率、用户使用所述业务服务的流量。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第二类用户进行第二QOE评估；或者

将所述第二类用户过滤掉，不再对所述第二类用户进行QOE评估。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在根据用户的行为特征指标对用户进行分类之前，包括：

对用户的行为特征进行分析，获取所述行为特征指标，其中，所述行为特征指标能够反映所述行为特征。

5.根据权利要求4所述的方法，其特征在于，所述行为特征包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。

6.根据权利要求5所述的方法，其特征在于，当所述行为特征为所述使用网页浏览业务的情况下，所述行为特征指标包括以下至少之一：

下载速率、首页打开时延、网页完整下载速率、首页响应时延。

7.一种用户体验质量评估装置，其特征在于，包括：

分类模块，用于根据用户的行为特征指标对用户进行分类，得到第一类用户和第二类用户，其中，所述第一类用户是与业务服务的密切程度大于或等于预设密切程度的用户，所述第二类用户是与所述业务服务的密切程度小于所述预设密切程度的用户；

评估模块，用于对所述第一类用户进行第一用户体验质量QOE评估。

8.根据权利要求7所述的装置，其特征在于，所述预设密切程度包括以下因素的至少之一：

用户使用所述业务服务的次数、用户使用所述业务服务的时间、用户使用所述业务服务的频率、用户使用所述业务服务的流量。

9.根据权利要求7所述的装置，其特征在于，

所述评估模块，还用于对所述第二类用户进行第二QOE评估；

所述装置还包括：过滤模块，用于将所述第二类用户过滤掉，不再对所述第二类用户进行QOE评估。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述行为特征包括以下至少之一：使用网页浏览业务、使用即时通讯业务、使用微博业务、使用在线影音业务、使用在线游戏业务。