CN104503916A - 一种系统界面可用性定量评估方法 - Google Patents

Abstract

本发明公开了一种系统界面可用性定量评估方法，测试结果的粗糙数得分匹配被试在相应评测指标下的一个区间数据，可表达系统界面评价的模糊性；区别于传统方法应用于不同被试一般得到不同的具体数据而产生具体数据的绝对化问题，本发明通过对比各方案与理想方案的差异程度（量化）来评价方案优劣，通过量化消除系统界面评价中的模糊性问题；进而基于任务分解的复杂界面的评测方法，把难以直接评估的界面分解成多个子任务界面，提高了可用性指标的有效测量，减少了不确定问题的产生。

Description

一种系统界面可用性定量评估方法

技术领域

本发明涉及一种系统界面可用性评估方法。

背景技术

系统界面可用性在国际标准化组织（ISO）有其规范的定义，可用性是指当用户在特定的环境中使用产品完成具体任务时，交互过程的有效性、交互效率和用户满意度。简而言之，可用性可以理解为用户界面应当容易识别、理解和判断，避免用户产生误解或者误判。

在一些规模较大的应用中，例如战机、船舶、核电厂、汽车等行业，复杂系统界面（简称复杂界面）应用已非常广泛，由于复杂系统操控界面信息量大、结构关系错综复杂，界面可用性直接影响到操作员对界面信息的识别、理解和判断（王宗波. 飞机航电系统界面可用性评估研究[D]. 南京: 东南大学硕士论文学位, 2010年）。据统计，2007～2010年全国约50%民用航空事故是由界面可用性问题造成飞行员的误解和误判造成的（陈燕, 张宏伟. 通用航空飞行员的情境意识分析[J]. 《交通企业管理》, 2011,26(11):57-58）。因此，对复杂界面可用性的评价研究具有重要的现实意义。

目前，国内外界面可用性的综合评价方法研究得到很大发展。Vnageas等人发现，模糊集合理论适合处理指标信息难于量化的模糊信息系统评价问题，被很多学者应用到核电厂、汽车等领域的人机界面评价中；王黎静、袁修干利用模糊数学的理论建立了飞机座舱界面设计方案的工效学评价体系^[4]；夏春艳对核电厂主控室人机界面的定量评价方法进行研究，应用层析分析法指导人机界面进行改进设计；余昆应用模糊分析对舰控中心机舱监控显示信息人机界面进行了综合评价。

此外，脑电实验、眼动实验（参考中国专利文献CN103312851A）、数据包络分析法、构权方法、灰色系统等技术等都广泛的应用于数字界面评价。界面可用性评估方法大致分为主观性评估法、客观评价法和生理测量三类，但存在有下不足：主观评价方法多依赖于简单的定性描述和主观判断，可信度不够；客观评价方法难以处理与认知心理相关的界面的不确定模糊性问题；生理测量则受实验条件限制，且实验成本高、实验程序复杂。

认知心理学家研究表明，人类获取的信息83%来源于视觉，因此，本发明以视觉化数字界面为研究对象，基于粗糙集灰色分析法建立一种新的界面可用性评价模型，按照层层递进方式对相互联系的任务进行分解，最后结合子任务事件进行可用性综合测评，从而为决策者提供精度较高的辅助决策信息。

灰色关联分析是模糊评价中常见方法之一，基于专家分析通过检验每个方案与理想的参考方案的相似度或差异度，实现对多个方案的评估和筛选，有助于人们在不确定的、具有多重属性的选择问题上做出决策。然而，专家们的主观判断往往是模糊不确定的、甚至是不一致的，因此灰色关联分析中所用具体数值，难以客观反应出这种主观性模糊信息。

发明内容

本发明用粗糙数和差分系数来弥补灰色关联分析的不足，提出一种系统界面可用性定量评估方法，能够有效处理模糊和不确定问题。

本发明采用以下技术方案：

一种系统界面可用性定量评估方法，针对系统界面的多个方案确定一个理想的参考方案，并给定评测指标，进而为理想的参考方案在给定的评测指标下确定参考序列，该评估方法包括以下步骤：

1）根据系统所需完成的作业任务与系统界面的匹配，将系统界面分解成与作业任务一一对应的子界面；

2）为每一个子界面分配测试序列，产生总测试组数；

3）针对当前方案在总测试组中随机测试序列，对被试进行测试，直至遍历到所有测试序列，结束对当前被试的测试，记录当前被试在各评测指标下的测试结果；

4）统计所有被试的测试结果，以测试结果与相应参考序列的差，产生各子界面在各评测指标下的粗糙数形式得分；

5）根据粗糙数形式得分建立各评测指标的差分系数矩阵；

6）依据差分系数矩阵获得当前方案的综合得分；

7）比较所有方案的综合得分，以综合得分为基准选择与理想的参考方案匹配度最高的方案。

依据本发明，测试结果的粗糙数得分匹配被试在相应评测指标下的一个区间数据，可表达系统界面评价的模糊性；区别于传统方法应用于不同被试一般得到不同的具体数据而产生具体数据的绝对化问题，本发明通过对比各方案与理想方案的差异程度（量化）来评价方案优劣，通过量化消除系统界面评价中的模糊性问题；进而基于任务分解的复杂界面的评测方法，把难以直接评估的界面分解成多个子任务界面，提高了可用性指标的有效测量，减少了不确定问题的产生。

上述系统界面可用性定量评估方法，参考序列是由各方案中在给定评测指标下各项指标的最优分值组成，具有清晰的可量度性。

在优选的实施例中，为了更清晰更准确的量化各指标，区分各项指标为正比型、反比型和自定义型；

为正比型时，取相应指标的最大值为最优分值；

为反比型时，取相应指标的最小值为最优分值；

为自定义型时，指定一个指定分值为相应指标的最优分值。

优选地，对于自定义型数据，根据其所处的范围确定为一个粗糙数范围，如果对应测试结果不在该粗糙数范围之内，则用偏离对应测试结果的最大或最小距离确定差值。

在一些实施例中，由差分系数矩阵获得当前方案的综合得分过程中，首先对差分系数矩阵进行标准化处理，该标准化处理是对差分系数矩阵中的元素做无量纲化处理，利于不同指标的归一化处理和后续的处理。

为了使评测结果更具有代表性，根据各给定的评测指标在系统界面评价中的重要程度分配权重，从而在综合得分得出时，以权重为相应指标的系数，累加各指标匹配的得分而得到综合得分。

在优选的实施例中，为每个子界面分配2~5组测试，被试个数不少于8，且不大于15，用以消除个例差异和不同精神状态下对测试结果的影响。

为提高验证的客观性，对被试采用脑电实验验证相应测试序列所对应评测方法的有效性。

进一步地，脑电实验中进行数据分析时，对数据波形进行低通滤波，并保留被试受刺激前100ms后800ms的数据，借以提高评测的有效性。

优选地，以综合得分为基准选择与理想的参考方案匹配度最高的方案作为后续开发的方案，并丢弃其他的方案，减少后续研发的工作量。

附图说明

图1a为依据本发明的第一战机界面方案可用性评估方法评估对象。

图1b为依据本发明的第二战机界面方案可用性评估方法评估对象。

图1c为依据本发明的第三战机界面方案可用性评估方法评估对象。

图2为战机界面可用性评价流程图。

图3为战机界面方案得分差异指数。

图4为脑电实验范式。

图5为额叶中前部脑电图和脑电地形图。

附图都是仪表截图，图中灰度不影响文件内容的表达。

具体实施方式

灰色关联分析是模糊评价中常见方法之一，通过检验每个方案与理想的参考方案的相似度或差异度，实现对多个方案的评估和筛选，有助于人们在不确定的、具有多重属性的选择问题上做出决策。

关于灰色关联分析，匹配灰色关联分析法，对于两个系统之间的因素，其随时间或不同对象而变化的关联性大小的量度，称为关联度。在系统发展过程中，若两个因素变化的趋势具有一致性，即同步变化程度较高，即可谓二者关联程度较高；反之，则较低。因此，灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度，亦即“灰色关联度”，作为衡量因素间关联程度的一种方法。

灰色系统理论提出了对各子系统进行灰色关联度分析的概念，意图透过一定的方法，去寻求系统中各子系统（或因素）之间的数值关系。然而，专家们的主观判断往往是模糊不确定的、甚至是不一致的，因此灰色关联分析中所用具体数值，难以客观反应出这种主观性模糊信息。

因此，本发明利用粗糙数和差分系数来弥补灰色关联分析的不足。粗糙数是由Zhai L.Y.等人在2007年基于粗糙集理论提出并用来量化用户主观感受，是一个具有最低限和最高限的有限集合，两个粗糙数序列的“距离”是用差分系数来表示。本发明利用粗糙数代替灰色关联分析的具体数字来表述模糊问题，提出新的粗糙集灰色分析法，具有处理模糊和不确定问题的独特优势，可用于建立界面评价模型。

以上内容作为本发明的理论依据用于系统界面可用性定量评估方法的开发。

关于系统界面可用性评估方法，需要构造一个界面可用性评估模型，或者说需要对系统界面可用性评估做一个初始化。以模糊数表示主观评价的模糊性数值，用差异指数表示界面方案与最佳理想方案的“距离”。差异指数越小，意味着设计方案越接近最佳理想方案。

下面先看粗糙数的得出：

对于系统界面方案的测试结果，往往需要测试若干个系统界面方案，被试也不可能是一个，也往往是多个，对一个系统界面方案的评测也不是一组被试各操作一次以产生测试结果，往往是操作多次。因此，所说的测试结果会是一个数据集。

所述数据集可以按照例如评测指标进行分组，也可以按照评测指标+被试进行分组，还可以按照给定的其他方法进行数据集的处理。在此条件下，针对某一个评测指标下的多个被试的多个测试结果就会产生最大值、最小值的问题，以此可产生粗糙书。

把数据集作为一个序列，那么可以将数据序列记为：

    (1)

其中，为粗糙数，和各自表示最低限和最高限，其中1≤i≤n，1≤j≤m，而m和n是自然数。

1、确定参考序列。

参考序列与评测指标对应，参考序列中的元素与评测指标中的指标一一对应。评测指标按照界面设计者的设计目的和用户的要求来确定，参考数列是由所有界面方案中各项指标的最优分值组成。

其中最优分值的确定过程如下：

当评测指标中的指标属于正比型时，选该指标的最大值，即；

当指标属于反比型时，选取该指标的最小值，即；

当指标属于自定义型时，指定指标额最优值，即。

其中，为第j个评价标准下的参考值，为第j个标准下的目标值。于是，得到最佳理想方案的参考序列为。

2、计算差分系数。根据每个评价指标的数据类型（正比型数据、反比型数据和自定义型数据）计算差分系数。

差分系数是一个测量评测值与参考值之间的“距离”，实质上也是一个采用区间形式的粗糙数，具有最大限和最小限。

差分系数着眼于产品方案的“局部”表现，即产品方案在“某标准”上的得分与其参考值的差分，反映了每个产品方案在各个评价标准下数据序列与参考序列的差异程度。如果产品方案在“某标准”的差分系数越小，说明该产品方案在“某标准”上的表现越优秀、越能满足用户需求。

对于正比型数据，差分系数计算公式如下：

 (2)

对于反比型数据，差分系数计算公式如下：

 (3)

对于自定义型数据，分为以下两种情况：

①如果目标值不包含在粗糙数的范围内，即，则可以用偏离目标值的最小和最大距离来衡量，公式如下：

 (4)

②如果目标值包含在粗糙数的范围内，即，公式如下：

 (5)

对于初值不同的数列进行无量纲化处理，生成新的数列。按下式对差分系数矩阵进行标准化处理：

                    (6)

3、计算差异指数。差异指数是每个界面方案在各项指标的得分序列与参考序列的差异程度，以粗糙数的形式存在。差异指数计算公式如下：

                        (7)

其中，为第j个标准的权重，=1。

关于权重，例如据前人研究，人机界面评价的4个可用性评价指标（任务完成率、所用时间、错误次数和总体满意度）的贡献是相同的，因此W(j) (j=1,2,3,4)取值为0.25，得到如(15)式所示的界面可用性评估模型：

                      (8)

为加权后的第i个界面方案的综合得分。

以上内容构造了系统界面可用性定量评估的模型和基本方案，下面说明匹配系统界面可用性的评估方法：

首先根据系统所需完成的作业任务与系统界面的匹配，将系统界面分解成与作业任务一一对应的子界面，用以降低系统界面可用性评测的复杂度，或者说可以通过对子界面进行单任务（匹配单子界面）的评测，降低其他子界面的干扰。

然后为每一个子界面分配测试序列或者说测试用例，重现子界面匹配的任务，使被试通过与子界面的交互能够完成相关任务。

这样，就能够产生各个子界面的测试序列，因而整体上产生测试的序列库，并匹配有有限数目个测试组数。

例如战机在遂行作战任务时，匹配的任务未必按照预想的顺序发生，因此，采用随机测试序列的方式，以匹配系统界面可能出现的情况。

另外，在评测中也可以针对子界面进行单任务的评测。

在一些实施例中，还可以采用对各任务顺序呈现的方式进行评测，效率会比较高，但代表性不强，不能重现系统界面真实面对的任务。

选择被试应当具有针对性，例如战机，其面对的往往是飞行员，其身体条件、反应速度等往往高于常人，如此，可以选择身心相对成熟的人作为被试，例如年龄在20~28岁的身心健康的人员，对相关对象具有相当的认知、识别能力。

在一些实施例中，针对当前方案在总测试组中随机测试序列，对被试进行测试，直至遍历到所有测试序列，结束对当前被试的测试，记录当前被试在各评测指标下的测试结果。

统计所有被试的测试结果，以测试结果与相应参考序列的差，产生各子界面在各评测指标下的粗糙数形式得分。

下面以一个具体的实施例进行复杂界面可用性定量评估方法的说明：

战机界面信息错综复杂，是典型的复杂界面，本发明以战机“空空对战”过程为例，利用粗糙集灰色分析和基于任务的界面评测新方法实现对战机界面可用性的定量评价。

分解任务。战机界面难以直接进行可用性评估，因此根据战机“空空对战”所需完成作业任务即油箱检查、发动机检查、飞行导航、雷达跟踪、电子战、导弹发射，将战机界面分解成与任务一一对应的子界面（见图1a-图1c）进行评价。

图1a-图1c表示出了战机“空空对战”的系统界面的三个方案。

实验流程。采用单任务检测范式，以可用性指标即规定时间内顺利完成的步骤C ₁ 、反应时C ₂ 、错误次数C ₃ 和总体满意度C ₄ 作为评测指标，其中C ₁ 和C ₄ 是正比型指标，C ₂ 和C ₃ 是反比性指标。

为每一个子界面分配3组测试，整个实验共36组测试，随机出现。每人完成全部测试约12分钟。

采用随机方式测试时可以采用对任务数减数的方式，例如一个子界面的3组测试，若被随机到，组数减一，直到减到0，从而保证在采用随机方式的条件下，提高评测的效率。

测试流程如图2所示，图中相左回绕的箭头表示当前任务完成后进行下一个任务。被试在规定时间内阅读任务指导语之后，例如按任意键开始测试，也可以匹配战机的操作，例如飞控自检开始条件。先在屏幕中央呈现注视点十字1000ms；再呈现判断式任务说明；牢记任务后，例如单击任意键继续；1500ms后呈现被测子界面，被试尽快找到相关信息判断任务说明是否正确，是按例如A键，否按例如L键。

被试做出反应便自动进行下一组测试。先进行4组练习，无疑问后单击任意键进行正式测试。测试结束后，利用七阶李克特度量法对被试进行满意度调查。

被试及实验环境。被试为16名在校硕士生和博士生，8男8女，年龄23-30岁，视力或矫正视力正常，无色盲或色弱。测试之前，让被试熟悉测试目的、任务流程以及反应要求。测试在东南大学人因工程实验室中17英寸显示器上进行，室内照明条件正常（40W日光灯），屏幕分辨率1280×1024、亮度为92cd/m2，背景为黑色，被试与屏幕中心的距离为550~600mm。

表1是各界面方案在各评价标准下的粗糙数形式得分，得到参考序列X₀=6，42，0，7。根据2和3式建立差分系数矩阵（见表2），根据6式转化成标准化差分系数矩阵（见表3），最后根据7和8式计算出各界面方案的综合得分（见表4）。从图3可见，方案2的差异指数最小，说明与理想的参考方案差异最小、相似度最高，被选为最终设计方案进行后继开发。

对于评测方法，在一些实施例中，进行脑电实验验证：

脑电数据可客观反应被试的认知心理，因此采用脑电实验验证以上评价方法的有效性。Miltner等人在1997年发现被试的反馈信息评价与预期不一致时，会在额叶中部和前部附近诱发反馈负波（Feedback negativity，FN），波峰出现在刺激呈现后250ms左右。据Eprime测试的被试主观反应，方案1可用性很差，因此，只选用方案2和方案3进行脑电实验。

实验任务。被试坐在封闭安静的EEG/ERP实验室，双眼距离电脑屏幕550~650mm，实验包含观察任务和执行任务两个步骤。按照如图4所示的实验范式，每个Trial开始“+”呈现在屏幕中心1000ms，提醒被试集中注意力；接着观察任务，屏幕出现方案2和3同一任务的两个子界面（左右顺序随机），牢记可用性较好的界面后单击空格键；黑屏持续2000ms以消除视觉残差；最后，出现以上两界面之一作为反应刺激，被试判断与记忆的目标界面是否一致，一致单击例如A键，不一致单击例如L键。两个方案各有6个任务子界面，组成12个实验（Trial），先进行4个练习实验，无疑问后单击任意键进行正式Trial。

被试。16名（8男8女）硕士生和博士生参加心理学实验，平均年龄25岁（男性：M=25.67，SD=2.33；女性：M=25.03，SD=2.63），身心健康、无心理疾病史、右利手、视力或纠正视力正常。对被试进行战机任务培训和测试，确保实验之前充分了解界面方案的可用性。

数据记录和分析。使用NeuroScan ERP工作站和根据国际10-20系统扩展的64导电极帽来记录ERP信号，以双侧乳突平均值为参考，记录中所有电极参考置于左乳突的参考电极，同时记录水平眼电（HEO）和左眼上下眶的垂直眼电（VEO）。电极与头皮之间阻抗小于5KΩ，滤波带通0.05~70Hz，AC采样频率1000Hz/导。

离线分析ERP数据时，先剔除漂移厉害和基波明显的无效波，校正眼电伪迹。再通过30Hz低通滤波排除波幅大于±70μv的伪迹信号，根据界面方案进行分段求平均，保留刺激前100ms后800ms的数据。最后，合并所有被试的脑电数据，得到如图5所示的脑电图和脑电地形图。

从图5的脑地形图可见，方案3在额区中前部的思维活跃程度明显高于方案2，符合FN出现的脑区位置。从图5的脑电图可知，反应刺激出现后200~250ms之间，方案3在额区中前部的FPZ、FZ、FCZ电极诱发了明显的FN，说明方案3与被试预期的可用性较好的界面方案不一致；相反，方案2各任务界面没有或诱发了较小的FN，意味方案2与预期的可用性较好的界面方案基本一致。对两方案的FPZ、FZ、FCZ行为数据进行方差分析得到：F _FPZ=30.18，F _FZ=28.31，F _FCZ=20.09，p<0.01，表明两方案的脑电数据存在显著差异。

综上所述，方案2在可用性上优于方案3，这与本发明所述及方法得到的战机操控界面评价结果一致，从人的认知心理学角度验证了本发明界面评价方法的有效性。

综上所述，本发明基于将粗糙集和灰色分析理论综合运用到数字界面评估领域，提出差分系数和差异指数，可量化战机界面评估中的模糊性问题，最终建立界面可用性评估模型；又提出基于任务分解的复杂界面评估方法，把难以直接评估的界面分解成多个子任务界面，通过新的实验范式实现对可用性指标的有效测量；最后，结合基于任务的战机界面评估方法和界面可用性评价模型，最终实现对战机界面的客观的综合评价，并通过脑电实验验证了有效性。

Claims (10)

1.一种系统界面可用性定量评估方法，其特征在于，针对系统界面的多个方案确定一个理想的参考方案，并给定评测指标，进而为理想的参考方案在给定的评测指标下确定参考序列，该评估方法包括以下步骤：

1）根据系统所需完成的作业任务与系统界面的匹配，将系统界面分解成与作业任务一一对应的子界面；

2）为每一个子界面分配测试序列，产生总测试组数；

3）针对当前方案在总测试组中随机测试序列，对被试进行测试，直至遍历到所有测试序列，结束对当前被试的测试，记录当前被试在各评测指标下的测试结果；

4）统计所有被试的测试结果，以测试结果与相应参考序列的差，产生各子界面在各评测指标下的粗糙数形式得分；

5）根据粗糙数形式得分建立各评测指标的差分系数矩阵；

6）依据差分系数矩阵获得当前方案的综合得分；

7）比较所有方案的综合得分，以综合得分为基准选择与理想的参考方案匹配度最高的方案。

2.根据权利要求1所述的系统界面可用性定量评估方法，其特征在于，参考序列是由各方案中在给定评测指标下各项指标的最优分值组成。

3.根据权利要求2所述的系统界面可用性定量评估方法，其特征在于，区分各项指标为正比型、反比型和自定义型；

为正比型时，取相应指标的最大值为最优分值；

为反比型时，取相应指标的最小值为最优分值；

为自定义型时，指定一个指定分值为相应指标的最优分值。

4.根据权利要求3所述的系统界面可用性定量评估方法，其特征在于，对于自定义型数据，根据其所处的范围确定为一个粗糙数范围，如果对应测试结果不在该粗糙数范围之内，则用偏离对应测试结果的最大或最小距离确定差值。

5.根据权利要求1至4任一所述的系统界面可用性定量评估方法，其特征在于，由差分系数矩阵获得当前方案的综合得分过程中，首先对差分系数矩阵进行标准化处理，该标准化处理是对差分系数矩阵中的元素做无量纲化处理。

6.根据权利要求1至4任一所述的系统界面可用性定量评估方法，其特征在于，根据各给定的评测指标在系统界面评价中的重要程度分配权重，从而在综合得分得出时，以权重为相应指标的系数，累加各指标匹配的得分而得到综合得分。

7.根据权利要求1至4任一所述的系统界面可用性定量评估方法，其特征在于，为每个子界面分配2~5组测试，被试个数不少于8，且不大于15。

8.根据权利要求1所述的系统界面可用性定量评估方法，其特征在于，对被试采用脑电实验验证相应测试序列所对应评测方法的有效性。

9.根据权利要求8所述的系统界面可用性定量评估方法，其特征在于，脑电实验中进行数据分析时，对数据波形进行低通滤波，并保留被试受刺激前100ms后800ms的数据。

10.根据权利要求1所述的系统界面可用性定量评估方法，其特征在于，以综合得分为基准选择与理想的参考方案匹配度最高的方案作为后续开发的方案，并丢弃其他的方案。