CN103226796A - 面向全过程的在线教育服务质量评估方法 - Google Patents

Abstract

本发明涉及服务质量评估方法，旨在提供一种面向全过程的在线教育服务质量评估方法。该方法是构建一个包含4个一级维度，15个二级维度，并在在线教育全过程的不同生命周期中使用这4个一级维度和15个二级维度进行质量评估的服务质量测评标准体系。采用指数指标对确定这一级指标的相对权重矩阵和每个一级指标下相应二级指标的相对权重矩阵，对相对权重矩阵进行一致性校验，如果一致性校验通过，采用相对权重矩阵计算所有指标的最终权重。本发明提出了在线教育评估维度指标和一个面向全过程的在线教育服务质量评估方法，以实际系统为依据提供全方位的评价指标和评估方法，实现了评估目标多元化、评价内容多态化、评价方式多样化，更加贴近用户需求。

Description

面向全过程的在线教育服务质量评估方法

技术领域

本发明涉及服务质量评估方法，特别涉及一种面向全过程的在线教育服务质量评估方法。

背景技术

目前教育质量评估方法已经有了初步的研究，例如：中国发明专利申请“一种基于AHP的模糊综合远程教育教学质量评估方法”（申请号201010281120.5）；中国发明专利申请“语言教学方案的评估方法—马可夫概率决定模型”（申请号201110161308.0）；中国发明专利申请“基于层次分析法的移动网络通信质量评价方法”（申请号201010255726.1）。

发明1提出了一种基于AHP的模糊综合远程教育教学质量评估方法。包括：运用AHP确定指标权重；运用模糊综合评估方法确定总评估结果。运用AHP确定指标权重的方法为建立所研究问题的递归层次结构；确定相对重要性判断矩阵；层次单排序；层次总排序—计算同一层次所有元素的组合权重；一致性校验。

发明2提出了一种使用马可夫概率决定模型这种量化方法来评估语言教学方案的方法。包括：在语言教学方案执行初始时，学生需要参加水平测试，并把该成绩设定为模型的起始状态；在语言教学方案执行结束时，学生需要再次参加水平测试，并把该成绩设定为模型的结束状态；由初始状态与结束状态确定概率转换矩阵和回报方程；由概率转换矩阵和回报矩阵得到该方案的最优化期望效益，最终通过比较不同教学方案的最有期望效益选择适合当前施教学生的语言教学方案。

发明3提出了一种基于层次分析法的移动网络通信质量评价方法。包括：对于构成移动通信网络通信质量指标体系的指标进行预处理；对于移动通信网络通信质量的必测项指标，采用二级层次分析法模型，计算必测项评价结果；对于选定的移动通信网络通信质量的选测项指标，计算选测项评价结果；取移动通信网络通信质量的必测项指标和选测项指标的评价结果之和为最终评价结果。

以上三种专利都是针对质量评估方法的发明创造，发明1和发明2针对的是教学系统的质量评估，而发明3针对的是移动网络通信的质量评估，另外，发明1与发明3都是基于层次分析法，而发明2采用的是马可夫概率决定模型。

随着我国在线教育的飞速发展，形式越来越复杂、越来越丰富，如何建立一个面向在线教育全过程的科学、规范、完善的质量评价体系来保证在线教育服务质量已经成为教育机构和社会各界都十分关注的话题。然而，在目前的在线教育学习过程中，学生主要是利用在线教育资源进行自主化的学习，这种自主化的学习缺少必要的基于全过程的监督与检测。几乎没有运用在在线教育上，而且并没有形成一个科学全面的评价维度指标和方法。因此，如何通过利用在线教育资源、激励机制和规范在线教育过程来建立一个基于在线教育全过程的科学、规范和完善的质量评价体系是急需解决的问题。

发明内容

本发明要解决的问题是，克服现有技术中的不足，提一种面向全过程的在线教育服务质量评估方法。为解决技术问题，本发明的解决方案是：

提供一种面向全过程的在线教育服务质量评估方法，该方法包括：将全过程的在线教育质量评估体系划分为4个一级维度，分别是对教学内容的评价、对教学过程的评价、对教师的评价和对系统易用性的评价；其中，对教学内容的评价包括对课程资源、辅导材料、作业习题和考试题这4个二级维度的评价；对教学过程的评价包括对激励机制、师生交互、生生交互和学习进度追踪这4个二级维度的评价；对教师的评价包括对教师对课程内容把握、对教学技术应用和教师风格这3个二级维度的评价；对系统易用性的评价包括对系统美观度、易用性、多语种和响应效率这4个二级维度的评价；

所述在线教育服务质量评估方法中的具体实现的步骤是：

（1）基于所述4个一级维度和15个二级维度的评价目标应用层次分析方法，采用指数标度法确定这4个一级指标的相对权重和基于这4个一级指标的系统决定因素的相对权重；其中，相对权重是指影响评价指标的各个因素的权重的相对值，各个因素的权重加和为1；

（2）对这5个相对权重向量进行一致性校验，如果一致性校验通过，则采用这5个相对权重计算所有指标的最终权重向量；

（3）确定系统评级及计算得分，对4个一级指标的评价均采用五分制，最后通过各指标的得分及权利得到用户对系统的总体评估分数，该分数即为在线教育系统的服务质量得分。

本发明所述步骤（1）中，对一级指标的相对权重确定的过程包括：

（1）根据指数标度法，由各二级维度的相对重要性列表得到相对重要性矩阵；

（2）通过指数标度法将定性描述量化；

（3）以方根法确定行平均值；

（4）通过行平均值归一化确定相对权重。

本发明所述步骤（2）中，对5个相对权重向量进行一致性校验的具体过程为：

a、确定n阶相对重要性矩阵A的最大特征根为λ_max：

${\mathrm{\λ}}_{\max }=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\left(\mathrm{A\ω}\right)}_i}{n{\mathrm{\ω}}_i}$

式中，ω为权重向量，i为正整数（1≤i≤n）

b、计算一致性指标CI, 

，其中，n为矩阵的阶数；

c、随机一致性比率为CR，CR＝CI/RI，若CR<=0.10，则判断矩阵具有满意的一致性，否则需要调整判断矩阵的元素取值；

RI是指随机一致性指标RI，

维数（n）	1	2	3	4	5	6	7	8	9
										RI	0.00	0.00	0.58	0.96	1.12	1.24	1.32	1.41	1.45

RI的取值见上表，维数n小于10 。

本发明所述步骤（3）中，在线教育系统的服务质量得分的计算方法具体为：

针对课程资源，假设给出1分的人数为n₁，2分的人数为n₂，3分的人数为n₃，4分的人数为n₄，5分的人数为n₅，则课程资源最终得分为：

$S_1=\frac{n_1\&times;1+n_2\&times;2+n_3\&times;3+n_4\&times;4+n_5\&times;5}{n_1+n_2+n_3+n_4+n_5}$

同理，设辅导材料得分S₂，作业习题得分S₃，考试题得分S₄；

则教学内容项最终得分为：

S = S₁×ω₁ + S₂×ω₂ + S₃×ω₃ + S₄×ω₄

式中，ω₁、ω₂、ω₃、ω₄分别为课程资源、辅导材料、作业习题和考试题的相对权重；

同理，得到教师评价得分S′，易用性得分S″和教学过程得分S″′；

则对在线教育服务质量系统进行评估后的最终得分为：

$\stackrel{\&OverBar;}{S}=\mathrm{\&omega;}\&times;S+{\mathrm{\&omega;}}^{\&prime;}\&times;S^{\&prime;}+{\mathrm{\&omega;}}^{\&prime;\&prime;}\&times;S^{\&prime;\&prime;}+{\mathrm{\&omega;}}^{\&prime;\&prime;\&prime;}\&times;S^{\&prime;\&prime;\&prime;}$

式中，ω、ω'、ω''、ω'''分别为教学内容、教师评价、易用性和教学过程的相对权重。

与现有技术相比，本发明的有益效果是：

目前质量评估方法几乎没有运用在在线教育上，而且也没有形成一套科学全面的评估维度指标。本发明提出了一套在线教育评估维度指标和一个面向全过程的在线教育服务质量评估方法，以实际系统为依据提供全方位的评价指标和评估方法，实现了评估目标多元化、评价内容多态化、评价方式多样化，更加贴近用户需求。

附图说明

图1为本发明的总体流程图；

图2为确定各评估指标权值的流程图；

图3为校验相对权重一致性的流程图；

图4为评估模型的层次图；

图5为系统各指标的相对权重示意图。

具体实施方式

本发明的目的是建立一个面向全过程的在线教育服务质量评估方法。本发明实现了评估目标多元化、评价内容多态化、评价方式多样化的在线教育服务质量评估体系，构建了一个包含4个一级维度，15个二级维度，并在在线教育全过程的不同生命周期中使用这4个一级维度和15个二级维度进行质量评估的服务质量测评标准体系。

本发明将全过程的在线教育质量评估体系划分为4个一级维度，分别是对教学内容的评价、对教学过程的评价、对教师的评价和对系统可用性的评价。其中，对教学内容的评价包括对课程资源、辅导材料、作业习题和考试这4个二级维度的评价，对教学过程的评价包括对激励机制、师生交互、生生交互和学习进度追踪这4个二级维度的评价，对教师的评价包括对教师对课程内容把握、对教学技术应用和教师风格这3个二级维度的评价，对系统可用性的评价包括对系统美观度、易用性、多语种和响应效率这4个二级维度的评价。

本发明将这4个一级维度，15个二级维度的评价目标应用于一种基于层次分析法（Analytic Hierarchy Process，简称AHP）的在线教育质量评估方法中。具体步骤如下：采用指数指标对确定这4个一级指标的相对权重矩阵和每个一级指标下相应二级指标的相对权重矩阵，对这5个相对权重矩阵进行一致性校验，如果一致性校验通过，采用这5个相对权重矩阵计算所有指标的最终权重。

本发明提出了面向全过程的在线教育服务质量评估模型及对应的评估方法。

一、几个流程图的说明

图1的流程图说明如下：

1、根据具体在线教育系统提出具有特定针对性的教育服务质量评估模型。模型建立包括划分等级、各个等级包含的具体评估指标，使之尽力保证评估过程的精确性与合理性。

2、由于影响最终评估指标的因素的重要性不同，为表示各因素的重要性程度，需要将各因素的重要性量化，确定各自的影响权重。

3、用户在使用系统的过程中或使用后可对系统的各个方面进行评价。

4、根据模型中各个因素的相对权值及所有用户的评价，对系统的具体评估指标得出最终评估结果。

图2的流程图说明如下：

1、直接从直观上确定各评估因素的权重是不精确的。本发明通过比较各个因素之间的相对重要性得出相对重要性矩阵，基本解决了指标评估的量化问题，又避免了定性描述的缺点，能够使定性描述定量化，评估结论更符合实际。

设某层有n个因素X={x₁,x₂…x_n}，要比较它们对上一层某一准则（或目标）的影响程度，用相对重要性标度a_ij表示第i个因素相对于第j个因素的比较结果，则有

其中A称为相对重要性矩阵。并且i对j的相对重要性为a_ij，则j对i的相对重要性为a_ji，显然：

$a_{\mathrm{ij}}=\frac{1}{a_{\mathrm{ji}}}$

2、通过特定标度方法将定性描述量化，标度方法有多种，其中以1-9标度法应用较为广泛，但是缺点也较为明显，在此应用侯岳衡、沈德家在《指数标度及其与几种标度的比较》文章中提出的一种更为精确的指数标度法：

，其中a_ij的取值方法如下图所示：

显然a_ij可取值

、

、

，例如当a_ij为时，i比j的重要性介于同等重要与稍微重要之间。

3、确定行平均值是确定最终权重向量的必要步骤，尽管行平均值的确定方法也有多种，但以方根法计算较为合理和精确，计算过程为矩阵A中每行各值相乘再开n次方，其中n为矩阵阶数。

即第i行的行平均值  ${\stackrel{\&OverBar;}{X}}_i=\sqrt[n]{a_{i1}\&CenterDot;a_{i2}\&CenterDot;...\&CenterDot;a_{\mathrm{in}}}$

4、针对第i（1≤i≤n）行的行平均值进行归一化：，即可得出权重向量ω=(ω₁,ω₂,…,ω_n)，权重向量的各个维度即表示了评估因素的相对权重。

5、由于客观事物的复杂性以及人们对事物认识的模糊性和多样性，所给出的相对重要性判断矩阵A可能不完全保持一致，有必要进行一致性检验。

图3中校验相对权重一致性的流程图说明如下：

1、相对重要性矩阵A的最大特征根为λ_max：

。

式中，ω为权重向量，n为相对重要性矩阵A的阶数，i为正整数（1≤i≤n）

2、计算一致性指标CI(Consistency Index), ，其中，n为矩阵的阶数。

3、随机一致性比率为CR(Consistency Ratio),CR＝CI/RI，若CR<=0.10，则判断矩阵具有满意的一致性，否则需要调整判断矩阵的元素取值。

随机一致性指标RI(Random Index)取值见下表，维数n一般小于10。

维数（n）	1	2	3	4	5	6	7	8	9
										RI	0.00	0.00	0.58	0.96	1.12	1.24	1.32	1.41	1.45

二、评估模型

建立评估模型首先建立评估指标，本评估模型共有一级和二级指标，一级指标分为对教学内容的评价、对教学过程的评价、对教师的评价和对系统易用性的评价，一级指标间相互独立，每个一级指标分别对应几个二级指标：其中，对教学内容的评价包括对课程资源、辅导材料、作业习题和考试题这4个二级维度的评价；对教学过程的评价包括对激励机制、师生交互、生生交互和学习进度追踪这4个二级维度的评价；对教师的评价包括对教师对课程内容把握、对教学技术应用和教师风格这3个二级维度的评价；对系统可用性的评价包括对系统美观度、易用性、多语种和响应效率这4个二级维度的评价。（如图4所示）

本模型通过每个二级指标得分及其相应权重计算得到一级指标得分，进而通过一级指标得分及相应权重计算得到系统的总体得分，该得分即为在线教育的服务质量评估分数。

三、相对权重确定过程

（一）确定教学内容决定因素的权重

1、相对重要性列表

根据以上AHP层次分析法步骤及关键概念的说明，确定影响教学内容因素的权重过程如下：

首先确定确定影响教学内容的各个因素相对重要性，有相对重要性表格如下图所示：

由此可得相对重要性矩阵：

$A={\left(a_{\mathrm{ij}}\right)}_{4\&times;4}=\left(\begin{array}{cccc}{9}^{\frac{0}{9}}& 9^{\frac{3}{9}}& 9^{\frac{1}{9}}& 9^{\frac{6}{9}}\\ 9^{-\frac{3}{9}}& 9^{\frac{0}{9}}& 9^{-\frac{1}{9}}& 9^{\frac{1}{9}}\\ 9^{-\frac{1}{9}}& 9^{\frac{1}{9}}& 9^{\frac{0}{9}}& 9^{\frac{1}{9}}\\ 9^{-\frac{6}{9}}& 9^{-\frac{1}{9}}& 9^{-\frac{1}{9}}& 9^{\frac{0}{9}}\end{array}\right)$

2、确定行平均值

3、确定相对权重

行平均值归一化

归一化后的行平均值： ${\mathrm{\&omega;}}_1=\frac{1.8411}{1.8411+0.8327+1.0629+0.6137}=0.4232$

同理可知  ω₂=0.1914,ω₃=0.2443,ω₄=0.1411

得相对权重向量ω=(ω₁,ω₂,ω₃,ω₄)^T=(0.4232,0.1914,0.2443,0.1411)^T

4、一致性校验：

（1）确定特征根：

判断矩阵A的最大特征根为 

由

$\mathrm{Aw}=\left(\begin{array}{cccc}{9}^{\frac{0}{9}}& 9^{\frac{3}{9}}& 9^{\frac{1}{9}}& 9^{\frac{6}{9}}\\ 9^{-\frac{3}{9}}& 9^{\frac{0}{9}}& 9^{-\frac{1}{9}}& 9^{\frac{1}{9}}\\ 9^{-\frac{1}{9}}& 9^{\frac{1}{9}}& 9^{\frac{0}{9}}& 9^{\frac{1}{9}}\\ 9^{-\frac{6}{9}}& 9^{-\frac{1}{9}}& 9^{-\frac{1}{9}}& 9^{\frac{0}{9}}\end{array}\right)\&times;\left(\begin{array}{c}0.4232\\ 0.1914\\ 0.2443\\ 0.1411\end{array}\right)=\left(\begin{array}{c}1.7437\\ 0.7663\\ 1\\ 0.5802\end{array}\right)$

得

${\mathrm{\&lambda;}}_{\max }=\frac{1.7437}{0.4232}+\frac{0.7663}{0.1914}+\frac{1}{0.2443}+\frac{0.5802}{0.1411}/4=4.0823$

（2）一致性指标

$\mathrm{CI}=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=\frac{4.0823-4}{4-1}=0.0274$

（3）一致性比率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=\frac{0.0276}{0.96}=0.0286$

CR=0.0286≤0.1，所以“教学内容”相对重要性矩阵满足一致性要求，其相应求得的特征向量为有效。即可最终确定课程资源的权重为0.4232，辅导材料的权重为0.1914，作业习题的权重为0.2443，考试题的权重为0.1411。

（二）确定教学过程决定因素的权重

1、相对重要性列表及对应行平均值：

2、确定相对权重

计算方法同上，行平均值归一化得相对权重向量ω=(ω₁,ω₂,ω₃,ω₄)^T=(0.1230,0.2178,0.2443,0.4167)^T

3、一致性校验：

特征根：

λ_max=4.0522

一致性指标

$\mathrm{CI}=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=4.0174$

一致性率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=0.0181$

CR=0.0181≤0.1，所以“教学过程”相对重要性矩阵满足一致性要求，其相应求得的特征向量为有效。

（三）确定教师决定因素的权重

1、相对重要性列表及对应平均值：

2、确定相对权重

计算方法同上，行平均值归一化得相对权重向量ω=(ω₁,ω₂,ω₃,ω₄)^T=(0.7535,0.0985,0.1480)^T

3、一致性校验：

特征根：

λ_max=3.0267

一致性指标

$\mathrm{CI}=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=0.0134$

一致性率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=0.0231$

CR=0.0231≤0.1，所以“教学内容”相对重要性矩阵满足一致性要求，其相应求得的特征向量为有效。

（四）确定系统易用性决定因素的权重

1、相对重要性列表及对应平均值：

2、确定相对权重

计算方法同上，行平均值归一化得相对权重向量ω=(ω₁,ω₂,ω₃,ω₄)^T=(0.1573,0.2269,0.3079,0.3079)^T

3、一致性校验：

特征根：

λ_max=4.1462

一致性指标

$\mathrm{CR}=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=0.0487$

一致性率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=0.0508$

CR=0.0508≤0.1，所以“易用性”相对重要性矩阵满足一致性要求，其相应求得的特征向量为有效。

（五）确定系统决定因素的权重

1、相对重要性列表及对应平均值：

2、确定相对权重

计算方法同上，行平均值归一化得相对权重向量ω=(ω₁,ω₂,ω₃,ω₄)^T=(0.3839,0.1962,0.0662,0.1537)^T

3、一致性校验：

特征根

λ_max=4.2443

一致性指标

$\mathrm{CR}=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=0.0941$

一致性率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=0.0991$

CR=0.0991≤0.1，所以“系统”相对重要性矩阵满足一致性要求，其相应求得的特征向量为有效。

（六）系统各指标的相对权重如图5所示：

四、确定系统评级及计算得分

用户对教学内容、教师评价、易用性、教学过程等指标的评价均采用五分制，最后通过各指标的得分及权利得到用户对系统的总体评估分数 ，该分数即为在线教育系统的服务质量得分。针对课程资源得到，假设给出一分的人数为n₁,两分的人数为n₂,三分的人数为n₃，四分的人数为n₄，五分的人数为n₅。则课程资源最终得分为

课程资源得分： $S_1=\frac{n_1\&times;1+n_2\&times;2+n_3\&times;3+n_4\&times;4+n_5\&times;5}{n_1+n_2+n_3+n_4+n_5}$

同理设辅导材料得分S₂,作业习题得分S₃，考试题得分S₄。

则教学内容项最终得分为：

教学内容得分：S=S₁×0.4232+S₂×0.1914+S₃×0.2443+S₄×0.1411

同理可得教师评价得分S′,易用性得分S″，教学过程得分S″′，则系统最终得分为

系统得分： $\stackrel{\&OverBar;}{S}=0.3839\&times;S+0.2662\&times;S^{\&prime;}+0.1537\&times;S^{\&prime;\&prime;}+0.1962\&times;S^{\&prime;\&prime;\&prime;}$ 。

发明1提出了一种基于AHP的模糊综合远程教育教学质量评估方法，使用1-9标度法确定各级指标的相对权重矩阵，并进行一致性校验，再由相对权重矩阵得到各级指标的权重，根据最大隶属原则确定最后的评价结果。但是，与本发明不同的是，发明1并没有提出一个适应于实际应用中的在线教育评估的维度指标，采用的是不精确的1-9标度法确定相对权重。本发明提出了一个适应于实际应用中的在线教育评估的维度指标，采用更为精确的指数标度法确定相对权重，并且，二者在由相对权重确定最终权重的方法亦不同。

发明2提出了一种使用马可夫概率决定模型来评估语言教学方案的方法。与本发明不同的是，发明2针对的是传统教育方式的评估方法，并且只是采用单一的学生成绩来评估教学方案，本发明针对的是在线教育的质量评估方法，而且本发明中的质量评估贯穿于在线教育的全过程，划分了4个一级指标和15个二级指标，采用这种多指标进行评价更加全面、科学。

发明3提出了一种基于层次分析法的移动网络通信质量评价方法。虽然都是基于层次分析法，但是，与本发明不同的是，发明3针对的是移动网络通信的质量评估，采用的是不精确的1-9标度法确定相对权重，本发明针对的是在线教育全过程的质量评估，采用的是更为精确的指数标度法确定相对权重。

Claims (4)

1.一种面向全过程的在线教育服务质量评估方法，其特征在于，该方法包括：将全过程的在线教育质量评估体系划分为4个一级维度，分别是对教学内容的评价、对教学过程的评价、对教师的评价和对系统易用性的评价；其中，对教学内容的评价包括对课程资源、辅导材料、作业习题和考试题这4个二级维度的评价；对教学过程的评价包括对激励机制、师生交互、生生交互和学习进度追踪这4个二级维度的评价；对教师的评价包括对教师对课程内容把握、对教学技术应用和教师风格这3个二级维度的评价；对系统易用性的评价包括对系统美观度、易用性、多语种和响应效率这4个二级维度的评价；

所述在线教育服务质量评估方法中的具体实现的步骤是：

（1）基于所述4个一级维度和15个二级维度的评价目标应用层次分析方法，采用指数标度法确定这4个一级指标的相对权重和基于这4个一级指标的系统决定因素的相对权重；其中，相对权重是指影响评价指标的各个因素的权重的相对值，各个因素的权重加和为1；

（2）对这5个相对权重向量进行一致性校验，如果一致性校验通过，则采用这5个相对权重计算所有指标的最终权重向量；（3）确定系统评级及计算得分，对4个一级指标的评价均采用五分制，最后通过各指标的得分及权利得到用户对系统的总体评估分数，该分数即为在线教育系统的服务质量得分。

2.根据权利要求1所述的方法，其特征在于，所述步骤（1）中，对一级指标的相对权重确定的过程包括：

（1）根据指数标度法，由各二级维度的相对重要性列表得到相对重要性矩阵；

（2）通过指数标度法将定性描述量化；

（3）以方根法确定行平均值；

（4）通过行平均值归一化确定相对权重。

3.根据权利要求1所述的方法，其特征在于，所述步骤（2）中，对5个相对权重向量进行一致性校验的具体过程为：

a、确定n阶相对重要性矩阵A的最大特征根为λ_max：

${\mathrm{\&lambda;}}_{\max }=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{{\left(\mathrm{A\&omega;}\right)}_i}{n{\mathrm{\&omega;}}_i}$

式中，ω为权重向量，i为正整数（1≤i≤n）

b、计算一致性指标CI, 

，其中，n为矩阵的阶数；

c、随机一致性比率为CR，CR＝CI/RI，若CR<=0.10，则判断矩阵具有满意的一致性，否则需要调整判断矩阵的元素取值；

RI是指随机一致性指标RI，

维数（n） 1 2 3 4 5 6 7 8 9 RI 0.00 0.00 0.58 0.96 1.12 1.24 1.32 1.41 1.45

RI的取值见上表，维数n小于10 。

4.根据权利要求1所述的方法，其特征在于，所述步骤（3）中，在线教育系统的服务质量得分的计算方法具体为：

针对课程资源，假设给出1分的人数为n₁，2分的人数为n₂，3分的人数为n₃，4分的人数为n₄，5分的人数为n₅，则课程资源最终得分为：

$S_1=\frac{n_1\&times;1+n_2\&times;2+n_3\&times;3+n_4\&times;4+n_5\&times;5}{n_1+n_2+n_3+n_4+n_5}$

同理，设辅导材料得分S₂，作业习题得分S₃，考试题得分S₄；

则教学内容项最终得分为：

S = S₁×ω₁ + S₂×ω₂ + S₃×ω₃ + S₄×ω₄

式中，ω₁、ω₂、ω₃、ω₄分别为课程资源、辅导材料、作业习题和考试题的相对权重；

同理，得到教师评价得分S′，易用性得分S″和教学过程得分S″′；

则对在线教育服务质量系统进行评估后的最终得分为：

$\stackrel{\&OverBar;}{S}=\mathrm{\&omega;}\&times;S+{\mathrm{\&omega;}}^{\&prime;}\&times;S^{\&prime;}+{\mathrm{\&omega;}}^{\&prime;\&prime;}\&times;S^{\&prime;\&prime;}+{\mathrm{\&omega;}}^{\&prime;\&prime;\&prime;}\&times;S^{\&prime;\&prime;\&prime;}$

式中，ω、ω'、ω''、ω'''分别为教学内容、教师评价、易用性和教学过程的相对权重。

Images