CN103577535A - 一种客观评价e-learning用户体验质量的方法 - Google Patents

Abstract

本发明公开了一种客观评价e-learning用户体验质量的方法，建立e-learning用户体验质量评价指标体系，提出指标体系中影响要素的量化方法，通过e-learning系统的用户日志数据，提取影响要素的特征值并进行量化评价，确定影响要素的权重，对影响要素进行加权求和，客观的评价用户体验质量。本发明基于客观日志数据，重点解决了e-learning用户体验质量影响要素的定量分析、要素权重的确定等关键技术。与当前用户体验质量评价中普遍依赖问卷调查的主观评价方法相比，本发明可以评价单用户的e-learning用户体验质量，避免了组织主观问卷调查，可以依据用户日志数据客观的评价e-learning用户体验质量。

Description

一种客观评价e-learning用户体验质量的方法

技术领域

本发明涉及一种用户体验质量评价方法，特别涉及一种客观评价e-learning用户体验质量的方法。

背景技术

随着服务经济的发展，用户体验成为网络服务能否被接受的关键。对用户体验质量的评价越来越受到研究者的重视，成为人机交互领域的研究热点。当前研究也取得了显著的成就，通过建立合适的评价指标体系对用户进行抽样问卷调查，对回收的问卷进行数据分析，从网站的角度评价整个用户群的整体用户体验质量，从而为网络服务的改进和完善提供帮助。使用问卷调查评价用户体验质量的方法存在费时费力等问题，并且不能从用户的角度评价单用户的用户体验质量。目前评价用户体验质量的方法如下：

第一种常见的用户体验质量评价方法是使用因子分析或结构方程模型对抽样问卷调查的数据进行分析。因子分析和结构方程模型可以分析影响用户体验质量的关键要素，从而指导网络服务的改进，但对于问卷调查结果的准确性要求较高。

另外一种常见的评价方法是抽样问卷调查结合用户行为日志，通过分析用户行为日志对部分影响要素进行评价，结合问卷调查对其它影响要素进行评价，进而评价用户体验质量。

上述现有的用户体验质量评价方法存在以下三方面的问题：

一、不能从用户的角度评价单用户的用户体验质量；

二、评价过程依赖主观问卷调查，人力物力消耗大；

三、不能定量的评价用户体验质量。

发明内容

本发明的目的在于提供一种客观评价e-learning用户体验质量的方法，是解决现有评价方法依赖主观问卷调查的问题，依据用户日志、为达到以上目的，本发明采用的技术方案包括以下步骤：

1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤：

1.1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学习日志数据集；

1.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；

1.3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的用户学习序列数据集，统计用户有效访问系统的次数n_y以及总计应访次数n_y，按照式1）计算该用户回访率R_re；

其中，用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号R_re表示，量化方法如式1）所示：

$R_{\mathrm{re}}=\left\{\begin{array}{cc}100\%,& (n_v-1)\&GreaterEqual;n_y\\ \frac{n_v-1}{n_y},& (n_v-1)<n_y\end{array}\right.---1)$

式1）中：n_v——用户有效访问系统的次数；n_y——为总计应访次数；

1.4）提取响应时间特征信息并计算响应速度：遍历考查时间段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值然后利用式2）计算响应速度D_r；

其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度,响应速度用符号D_r表示，量化方法如式2）所示：

$D_r=\frac{1}{1+\stackrel{\&OverBar;}{t_r}}---2)$

式2）中：

——响应时间的均值；

t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；

1.5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度C_n；

其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，导航清晰度用符号C_n表示，量化方法如式3）所示：

$C_n=\frac{n_{\mathrm{aim}}+n_{\mathrm{rel}}}{n_t}---3)$

式3）中：n_aim——用户所访问的目标知识单元个数；n_rel——用户所访问的下一步要学习的知识单元个数；n_t——用户访问的所有知识单元个数；

1.6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率R_n；

其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号R_n表示，量化方法如式4）所示：

$R_n=1-\frac{n_m}{n_c}---4)$

式4）中：n_m——为错误点击次数；n_c——为总点击次数；

2）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Q_e。

步骤1.1）中日志预处理的方法如下：

a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中；

b）将用户标识中的信息记入到用户学习日志数据集；

c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。

所述的步骤a）中提取的学习动作发生时间信息经过时间格式转换后记录到相应的用户标识中。

步骤1.2）中用户学习序列识别的方法如下：

a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；

b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；

c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。

步骤1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值

然后利用式2）计算响应速度D_r的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；

c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度D_r并将该响应速度D_r记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条；如果是，则结束响应速度D_r的计算；如果否，则返回步骤a）读取下一条用户学习序列。

步骤1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数n_v以及总计应访次数n_y，按照式1）计算该用户回访率R_re的方法为：

a)从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；

c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率R_re并将该用户回访率R_re记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率R_re的计算；如果否，则返回步骤a）读取下一条用户学习序列。

步骤1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用户所访问的目标知识单元个数n_aim和用户所访问的下一步要学习的知识单元个数n_rel，利用式3）计算导航清晰度C_n的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息；

c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；

d）判断记录的有效导航特征或无效导航特征是否成功完成学习；

如果是，则利用式3）计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；

e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；

f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度C_n的计算；如果否，则返回步骤a）读取下一个用户学习序列。

步骤1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确点击特征，并统计错误点击次数n_m，利用式4）计算该用户的正确点击率R_n的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息；

c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；

d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率R_n并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；

e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率R_n的计算，如果否，则返回步骤a）读取下一个用户学习序列。

所述的步骤2）中权重对影响要素进行加权求和的方法如式5）所示：

$Q_e=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]W=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]\left[\begin{array}{c}0.75\\ 0.1489\\ 0.0690\\ 0.0321\end{array}\right]---5)$

式5）中，W——权重向量，且W^Τ=[0.75 0.1489 0.0690 0.0321]。

与现有技术相比，本发明的有益效果为：

1、本发明针对当前信息服务系统的用户体验评价多采用问卷调查、访谈等方式，存在费时费力、主观期许性偏差等问题，本发明以信息服务的典型系统e-Learning为应用背景，提出一种根据用户的日志数据、客观评价用户体验质量的自动化方法，该方法最终将e-learning用户体验质量量化，以定量的方式评价e-learning用户体验质量，解决了采用问卷调查、访谈等方式依赖主观问卷调查，人力物力消耗大的问题，具有更高的计算效率、精度和自动化程度。

2、本发明提出的客观评价e-learning用户体验质量的方法涵盖了用户体验的评价指标体系、特征选择和量化计算多个重要环节，具有强的系统性，指标体系定义客观、简洁、实用，特征选择和量化计算方法可操作性强、便于实施。

3、本发明提出的客观评价用户体验质量的方法中的用户体验评价指标体系，是基于信息服务系统的共同特征构建的，包含有信息系统的典型用户体验评价指标，具有通用性，可移植性高，针对不同的信息服务系统的用户体验评价，可以灵活地进行领域定制。

附图说明

图1为本发明方法的整体框架图；

图2为本发明建立的e-learning用户体验质量评价指标体系层次图；

图3为本发明影响要素特征提取和定量计算框架图；

图4为本发明方法中日志预处理流程图；

图5为本发明方法中用户学习序列识别流程图；

图6为本发明方法中用户回访特征提取和计算流程图；

图7为本发明方法中响应速度特征提取和计算流程图；

图8为本发明方法中导航清晰度特征提取和计算流程图；

图9为本发明方法中正确点击特征提取和计算流程图。

具体实施方式

为了更清楚的理解本发明，以下结合附图对本发明作进一步的详细描述。

如图1所示，分析影响e-learning用户体验质量的要素，建立用户体验质量评价指标体系，提出影响要素的定义；其次是分析用户日志，提取影响要素的特征信息进行定量计算，确定影响要素的权重，定量计算用户体验质量。

下面分步骤结合附图对本发明做进一步详细说明。

1）建立e-learning用户体验质量评价指标体系：

参见图2，本发明的e-learning用户体验质量评价指标体系分为目标层、指标层以及要素层，其中，目标层为e-learning用户体验质量；分析影响e-learning用户体验质量的指标和要素进行分析，将影响e-learning用户体验质量的指标分为有用性指标和易用性指标，有用性指标和易用性指标构了指标层，使用有用性指标和易用性指标来评价目标层的e-learning用户体验质量，有用性指标是指系统提供的知识资源和学习服务对于用户来说是有用的；易用性指标是指这些服务对于用户来说容易获取，简单易用。有用性指标和易用性指标可以再细分成e-learning用户体验质量的影响要素，例如用户回访率、响应速度、导航清晰度和正确点击率；用户回访率、响应速度、导航清晰度和正确点击率构成了e-learning用户体验质量的要素层；其中，使用用户回访率来评价有用性指标，使用响应速度、导航清晰度、正确点击率来评价易用性指标；

2)对用户回访率、响应速度、导航清晰度以及正确点击率分别进行定义和量化；

a）本发明方法使用用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度，用以度量有用性指标。用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号R_re表示，量化方法如式1）所示：

$R_{\mathrm{re}}=\left\{\begin{array}{cc}100\%,& (n_v-1)\&GreaterEqual;n_y\\ \frac{n_v-1}{n_y},& (n_v-1)<n_y\end{array}\right.---1)$

式式1）中：n_v——用户有效访问系统的次数；n_y——为总计应访次数；另外，用户有效访问系统的次数中的“有效”是指若当前的点击学习动作与上次的点击不是在同一天，则认为是“有效”的。

b）本发明方法使用响应速度表征用户感觉到的系统响应快慢程度，响应速度定义为系统响应用户请求的快慢程度，响应速度用符号D_r表示，量化方法如式2）所示：

$D_r=\frac{1}{1+\stackrel{\&OverBar;}{t_r}}---2)$

式2）中，——响应时间的均值；

t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；响应时间的均值

可以从用户日志中提取和计算。

c）本发明方法使用导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时所访问的目标和下一步要学习的知识单元总数与访问的所有知识单元数的比值，导航清晰度用符号C_n表示，量化方法如式3）所示：

$C_n=\frac{n_{\mathrm{aim}}+n_{\mathrm{rel}}}{n_t}---3)$

式3）中：n_aim——用户所访问的目标知识单元个数；n_rel——用户所访问的下一步要学习的知识单元个数；n_t——用户访问的所有知识单元个数；另外，成功完成任务是指完成规定的学习任务。

d）本发明方法使用正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性。正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号R_n表示，量化方法如式4）所示：

$R_n=1-\frac{n_m}{n_c}---4)$

式4）中：n_m——为错误点击次数；n_c——为总点击次数；另外，正确点击率是指针对点击动作是针对学习对象信息而发生的。

3）从用户日志中提取影响要素的特征值并进行定量计算（参见图3），包括如下步骤：

3.1）日志预处理：

本发明方法中日志预处理的目的是过滤大量的用户日志，从中提取有效的信息，然后将所提取的有效信息按照用户表示归类，形成用户日志数据集；所提取的有效的信息主要包括：1.学习者自身信息，例如用户标识信息；2.学习对象信息，例如学习者在e-learning系统中所进行的登录、退出、点击页面链接等操作以及学习者所学习知识单元的信息（如知识单元的名称）；3、学习动作发生的时间。

从原始用户日志中提取的有效信息只是所需信息的一部分，其它信息需要对原始日志进行处理而获取，日志预处理流程图如图4所示，具体包括以下步骤：

a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息息经过时间格式转换记录到相应的用户标识所在的数据记录中；

b）将用户标识中的信息记入到用户学习日志数据集；

c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。

3.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；用户学习序列识别的流程图如图5所示，具体步骤如下所示：

a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；具体的，从用户学习序列数据集中提取学习对象信息为知识单元标识；另外，一天时间段内发生的所有动作为同一学习序列；

b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则认为该用户的学习过程中有中断，该知识单元的学习时长不可知，将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；其中，学习时长阈值为600s；学习时长信息是指相邻两次动作发生时间的时间差；

c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。

3.3）提取用户回访特征信息并计算用户回访率：

本发明提取用户回访率的特征信息需要遍历考查时间段内的用户学习序列，统计用户有效访问系统的次数n_v以及总计应访次数n_y，按照式1）计算用户回访率R_re。用户回访率特征提取和计算流程图如图6所示，其具体方法如下：

a)从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；

c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率R_re并将该用户回访率R_re记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率R_re的计算；如果否，则返回步骤a）读取下一条用户学习序列。

3.4）提取响应时间特征信息并计算响应速度：

本发明提取响应速度的特征，要遍历用户访问序列数据集，统计从用户请求到系统将响应页面完全呈现给用户的时长之和t，同时记录用户请求的总次数N，然后计算响应时间的均值

响应速度的特征提取和计算流程图如图7所示，具体方法如下：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；

c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度D_r并将该响应速度D_r记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条；如果是，则结束响应速度D_r的计算；如果否，则返回步骤a）读取下一条用户学习序列。

3.5）提取导航清晰度特征信息并计算导航清晰度：

本发明提取导航清晰度的特征需要遍历考查时间段内的用户访问序列数据集，提取导航清晰度的特征主要包括导航特征提取和有效性判定，任务成功判定，则进行导航清晰度计算和记录，当用户一次学习任务完成后，用户进行的其它学习行为不计入导航特征。

具体的，遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度C_n；导航清晰度的特征提取和计算流程如图8所示，具体方法如下：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息；

c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；

d）判断记录的有效导航特征或无效导航特征是否成功完成学习；

如果是，则利用式3）计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；

e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；

f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度C_n的计算；如果否，则返回步骤a）读取下一个用户学习序列。

3.6）提取正确点击特征信息并计算正确点击率；

本发明提取正确点击特征信息需要遍历考查时间段内的用户访问序列数据集，提取的正确点击率的特征主要包括正确点击特征的判断和统计，利用式4）计算该用户的正确点击率R_n；

具体的，遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率R_n；正确点击率的特征提取和计算流程如图9所示,具体方法如下：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息和学习动作发生信息；

c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；

d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率R_n并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；

e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率R_n的计算，如果否，则返回步骤a）读取下一个用户学习序列。

4）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Q_e，根据计算的Q_e的大小评价e-learning用户体验质量；

e-learning用户体验质量Q_e的计算公式如式5）所示：

$Q_e=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]W=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]\left[\begin{array}{c}0.75\\ 0.1489\\ 0.0690\\ 0.0321\end{array}\right]---5)$

式5）中，W——权重向量，且W^Τ=[0.75 0.1489 0.0690 0.0321]。

本发明是从单个用户的角度出发的，还没有研究到整体用户群的情况，因此，本发明计算出的各个影响要素是单个用户的情况,不需要累加，最后的e-learning用户体验质量Q_e也是指单个用户的。

Claims (9)

1.一种客观评价e-learning用户体验质量的方法，其特征在于，包括以下步骤：

1）从用户日志中提取影响要素的特征值并进行定量计算，包括如下步骤：

1.1）日志预处理：对原始用户日志进行预处理，生成含有用户标识信息、学习对象信息以及学习动作发生时间信息的用户学习日志数据集；

1.2）用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；

1.3）提取用户回访特征信息并计算用户回访率：遍历考查时间段内的用户学习序列数据集，统计用户有效访问系统的次数n_y以及总计应访次数n_y，按照式1）计算该用户回访率R_re；

其中，用户回访率表征用户再次使用e-learning系统服务的回访意愿强烈程度；用户回访率定义为用户在考查的时间段内用户有效访问系统的次数与总计应访次数的比值，用户回访率用符号R_re表示，量化方法如式1）所示：

$R_{\mathrm{re}}=\left\{\begin{array}{cc}100\%,& (n_v-1)\&GreaterEqual;n_y\\ \frac{n_v-1}{n_y},& (n_v-1)<n_y\end{array}\right.---1)$

式1）中：n_v——用户有效访问系统的次数；n_y——为总计应访次数；

1.4）提取响应时间特征信息并计算响应速度：遍历考查时间段内的用户访问序列数据集，统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值

然后利用式2）计算响应速度D_r；

其中，响应速度表征用户感觉到的系统响应快慢程度；响应速度定义为系统响应用户请求的快慢程度,响应速度用符号D_r表示，量化方法如式2）所示：

$D_r=\frac{1}{1+\stackrel{\&OverBar;}{t_r}}---2)$

式2）中：

——响应时间的均值；

t为从用户请求到系统将响应页面呈现给用户的时长之和；N为用户请求的总次数；

1.5）提取导航清晰度特征信息并计算导航清晰度：遍历考查时间段内的用户访问序列数据集，提取学习对象信息，并判定学习对象信息是否为目标单元或下一步要学习的知识单元，然后通过判定结果统计用户所访问的有效导航特征和无效导航特征，计算是否达到成功完成学习，当计算结果显示成功完成学习，则利用式3）计算导航清晰度C_n；

其中，导航清晰度表征用户在使用系统服务过程中对系统导航是否清晰的感受；导航清晰度定义为用户在一次任务过程中，成功完成任务时用户所访问的目标知识单元个数和用户所访问的下一步要学习的知识单元个数的总和与用户访问的所有知识单元个数的比值，导航清晰度用符号C_n表示，量化方法如式3）所示：

$C_n=\frac{n_{\mathrm{aim}}+n_{\mathrm{rel}}}{n_t}---3)$

式3）中：n_aim——用户所访问的目标知识单元个数；n_rel——用户所访问的下一步要学习的知识单元个数；n_t——用户访问的所有知识单元个数；

1.6）提取正确点击特征信息并计算正确点击率；遍历考查时间段内的用户访问序列数据集，从学习日志的学习对象信息以及学习动作发生信息中提取正确点击特征，利用式4）计算该用户的正确点击率R_n；

其中，正确点击率表征用户与系统进行人机交互过程中，系统设计符合用户使用习惯的特性以及容易学习的特性；正确点击率定义为用户在一次任务过程中正确点击次数占总点击次数的比例，正确点击率用符号R_n表示，量化方法如式4）所示：

$R_n=1-\frac{n_m}{n_c}---4)$

式4）中：n_m——为错误点击次数；n_c——为总点击次数；

2）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Q_e。

2.根据权利要求1所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.1）中日志预处理的方法如下：

a）从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息；然后判断提取的用户标识信息是否为已有的用户，如果是，则将用户标识信息记录到相应的用户标识中；如果否，则建立新的用户标识；将提取的学习对象信息记录到相应的用户标识所在的数据记录中，将提取的学习动作发生时间信息记录到相应的用户标识所在的数据记录中；

b）将用户标识中的信息记入到用户学习日志数据集；

c）在完成该条日志记录的预处理后，判断该条日志记录是否为最后一条，如果是，则完成日志预处理；如果否，则返回步骤a）读取下一条日志。

3.根据权利要求2所述的客观评价e-learning用户体验质量方法，其特征在于：所述的步骤a）中提取的学习动作发生时间信息经过时间格式转换后记录到相应的用户标识中。

4.根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.2）中用户学习序列识别的方法如下：

a）从用户学习日志数据集中读取一条日志记录，然后分别提取学习对象信息和学习动作发生时间信息，将提取的学习对象信息记录到学习序列中，判断学习动作发生时间信息是否属于同一学习序列，如果是，将提取的学习动作发生时间信息记录到学习序列中，如果不是，将提取的学习动作发生时间信息所对应的学习序列设置为新的学习序列并记录到学习序列中；

b）从提取的学习动作发生时间信息中提取学习时长信息，判断学习时长信息中的学习时长是否超过学习时长阈值；如果是，则将该学习时长设置为平均学习时长，然后记录到学习序列；如果否，则将该学习时长记录到学习序列；

c）将学习序列中的信息记入用户学习序列数据集；然后判断日志记录是否为最后一条，如果是，则完成用户学习序列识别；如果否，则返回步骤a）读取下一条日志记录。

5.根据权利要求4所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.4）从学习日志的学习动作发生时间信息中统计从用户请求到系统将响应页面呈现给用户的时长之和t，同时记录用户请求的总次数N，计算响应时间的均值

然后利用式2）计算响应速度D_r的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取响应时间特征信息；

c）判断学习日志是否为最后一条；如果是，利用式2）计算该条学习日志的响应速度D_r并将该响应速度D_r记录到响应速度数据库，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条；如果是，则结束响应速度D_r的计算；如果否，则返回步骤a）读取下一条用户学习序列。

6.根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.3）从学习日志的学习动作发生时间信息中统计用户的有效来访次数n_v以及总计应访次数n_y，按照式1）计算该用户回访率R_re的方法为：

a)从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取用户有效回访特征信息；

c）判断学习日志是否为最后一条；如果是，则利用式1）计算用户回访率R_re并将该用户回访率R_re记录到用户回访率数据库中，然后转到步骤d）；如果否，则返回步骤b）读取下一条学习日志；

如果否，则返回步骤b）读取下一条学习日志；

d）判断用户学习序列是否为最后一条，如果是，则结束用户回访率R_re的计算；如果否，则返回步骤a）读取下一条用户学习序列。

7.根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.5）中从学习日志的学习对象信息中提取知识单元，并判定知识单元是否为目标或下一步要学习的知识单元，通过判定结果统计用户所访问的目标知识单元个数n_aim和用户所访问的下一步要学习的知识单元个数n_rel，利用式3）计算导航清晰度C_n的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息；

c)判断提所提取的学习对象信息是否为目标单元或下一步要学习的知识单元；如果是，则将该学习对象信息记录为有效导航特征,然后转到步骤d）；如果否，则将该学习对象信息记录为无效导航特征；然后转到步骤d）；

d）判断记录的有效导航特征或无效导航特征是否成功完成学习；

如果是，则利用式3）计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则转到步骤e）；

e）判断学习日志是否为最后一条，如果是，则利用式3）计算计算导航清晰度C_n并记录到导航清晰度数据库中，然后转到步骤f）；如果否，则读取下一条学习日志，返回步骤b）读取下一条学习日志；

f）判断用户学习序列是否为最后一条；如果是，则结束导航清晰度C_n的计算；如果否，则返回步骤a）读取下一个用户学习序列。

8.根据权利要求1或2所述的客观评价e-learning用户体验质量方法，其特征在于，步骤1.6）中从学习日志的学习对象信息以及学习动作发生信息中判断正确点击特征，并统计错误点击次数n_m，利用式4）计算该用户的正确点击率R_n的方法为：

a）从用户学习序列数据集中读取一个用户学习序列；

b）从该用户学习序列中读取一条学习日志，提取学习对象信息和点击时间信息；

c）判断点击时间信息是否符合正确点击特征；如果是，则记录为正确点击，转入步骤d）；如果否，则记录为错误点击，则转入步骤d）；

d）判断学习日志是否为最后一条，如果是，则利用式4）计算正确点击率R_n并记录到正确点击率数据库，然后转入步骤e）；如果否，则返回步骤b）读取下一条学习日志；

e）判断用户学习序列是否为最后一条，如果是，则结束正确点击率R_n的计算，如果否，则返回步骤a）读取下一个用户学习序列。

9.根据权利要求1所述的客观评价e-learning用户体验质量方法，其特征在于：所述的步骤2）中权重对影响要素进行加权求和的方法如式5）所示：

$Q_e=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]W=\left[\begin{array}{cccc}{R}_{\mathrm{re}}& D_r& C_n& R_n\end{array}\right]\left[\begin{array}{c}0.75\\ 0.1489\\ 0.0690\\ 0.0321\end{array}\right]---5)$

式5）中，W——权重向量，且W^Τ=[0.75 0.1489 0.0690 0.0321]。

Images