CN101883022A - 一种数字家庭互动应用服务可用性测试系统 - Google Patents

Abstract

本发明实施例公开了一种数字家庭互动应用服务可用性测试系统，包括：可用性测试标准规范模块，用于作为评估和改进互动应用服务的可用性质量的参照系，包括互动应用服务的测试有效性，效率和满意度；可用性测试模块，用于依据测试需求制定测试计划，并依据计划做好测试准备，在准备工作就绪后，启动测试进程，进行可用性测试；最后，对可用性测试所获得的测试数据进行分析，从而形成可用性测试报告；可用性测试用例资源模块，用于存储可用性测试用例资源库。实施本发明，建立相关标准规范，及可用性测试用例资源库，作为可用性测试基础。

Description

一种数字家庭互动应用服务可用性测试系统

技术领域

本发明属于数字家庭技术领域，具体涉及一种数字家庭互动应用服务可用性测试系统。

背景技术

可用性是产品的一个基本的自然属性，是那些影响用户对产品或系统体验的因素的组合，是最终用户使用产品的可用的程度。可用性是在产品和用户的相互作用中体现出来的。可用性研究通过对用户、产品、环境交互的研究，来实现用户高效、满意和安全地使用产品。可用性测试是依照可用性标准对系统进行评估。可用性测试是用户在和系统交互时对用户体验质量的度量。

用户评估也称用户测试。一般是通过营造类似于真实使用环境的测试环境，让真实的用户执行真实的任务(根据具体的测试方法决定是否让用户独立完成任务)，在这一过程中由可用性人员进行观察、记录，也许还要与用户进行交流和引导来获得有用的数据，然后对数据进行分析，从中得到用户对产品设计的反馈意见和评估产品可用性质量的指标数据。根据评估目的和方式的不同，用户评估可以分为反馈搜集型和绩效度量型两种类型。

专家评估是由可用性或人类因素学专家，根据可用性设计原理、设计风格指南、标准和经验，对产品的可用性质量进行的评估活动。这种方法适用于系统开发的各个阶段，是一种快速、灵活和经济的评估方法，实例研究表明，其成本效益比可以达到1∶48。它可以有效地发现产品设计中与可用性原理和标准相抵触的可用性问题。因为不同的评估专家往往倾向于发现不同的可用性问题，所以这种方法的效果与评估专家的人数有关系。研究表明，一个评估专家通常只能发现产品所存在可用性问题中的35％左右，所发现问题的数量随着专家人数的增加而增加，因此建议专家人数为5名左右较好，最少不能少于3名。为了使评估结果对改进产品设计更有指导意义，可以在评估后组织一个由评估专家和产品设计人员共同参加的会议，从设计上提出解决所发现可用性问题的办法。这类方法比较多，代表性的方法包括经验性评估、CELLO审查、可用性评审等。

在对可用性测试的研究和实践过程中，而目前关于数字家庭互动应用服务可用性测试方面基础薄弱，缺乏完整的平台体系用于可用性测试。

发明内容

本发明实施例提供一种数字家庭互动应用服务可用性测试系统，以填补当前互动应用服务可用性测试平台建设方面的空白。

基于上述问题，本发明实施例提供了一种数字家庭互动应用服务可用性测试系统，包括：

可用性测试标准规范模块，用于作为评估和改进互动应用服务的可用性质量的参照系，包括互动应用服务的测试有效性，效率和满意度；

可用性测试模块，用于依据测试需求制定测试计划，并依据计划做好测试准备，在准备工作就绪后，启动测试进程，进行可用性测试；最后，对可用性测试所获得的测试数据进行分析，从而形成可用性测试报告；

可用性测试用例资源模块，用于存储可用性测试用例资源库，针对大量案例的分析基础上，针对不同内容的互动应用服务，分析研究其包含的共性与不同，逐步丰富测试用例资源库，从而为可用性测试提供研究基础及分析数据和理论的指导。

所述测试有效性指用户完成特定任务和达到特定目标时所具有的正确和完整程度，在可用性测试中，根据任务完成率、出错频度、求助频度这三个主要指标来衡量。

所述效率指的是产品的有效性与完成任务所耗费资源的比率，这里的资源通常指时间，这时的效率为单位时间的工作量。在相同使用环境下，用户使用效率是评定同类产品或同一产品的不同版本优劣的依据之一。

所述可用性测试模块中的可用性测试操作的方法具体包括用户评估和专家评估这两种。

由于本发明实施例中的数字家庭互动应用服务可用性测试平台包括可用性测试标准规范、可用性测试方法、可用性测试用例资源库，可填补国内关于应用服务可用性测试平台方面的空白，并建立相关标准规范，及可用性测试用例资源库，作为可用性测试基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的数字家庭互动应用服务可用性测试系统结构示意图；

图2为本发明实施例中的可用性测试及可用性测试方法流程图。

具体实施方式

下面将结合附图对本发明实施例中的数字家庭互动应用服务可用性测试系统作进一步详细的描述。

本发明实施例提供的一种数字家庭互动应用服务可用性测试系统，该平台包括可用性测试标准规范模块、可用性测试模块和可用性测试用例资源模块，具体可参阅图1，其中：

(一)可用性测试标准规范模块

可用性测试标准规范作为评估和改进互动应用服务的可用性质量的参照系，包括互动应用服务的测试有效性，效率和满意度。通过用户评估或测试获得互动应用服务的有效性、效率和满意度这三个指标。然后针对互动应用服务的测试有效性，效率和满意度这三个指标进行研究，建立一个以三个方面为主要框架，并结合数字家庭和数字电视互动应用服务的特点，通过科学的考察论证，细化和丰富可用性测试的标准规范，最终建立一个完备的数字家庭互动应用服务可用性测试指标体系和指导可用性测试的标准规范。

i有效性指标

有效性指用户完成特定任务和达到特定目标时所具有的正确和完整程度，在可用性测试中，根据任务完成率、出错频度、求助频度这三个主要指标来衡量。

完成率：当任务不可分，即只有完成和未完成任务两种状态时，完成率为完成任务的用户所占的百分比；如果任务可分，即存在部分完成任务的情况时，用户有效完成的工作占该任务的比例称为目标实现率，因此在任务可分时，任务完成率应为用户的目标实现率。

出错频度：出错频度是通过用户执行某个任务过程中发生错误的次数来衡量的。

求助频度：指用户在完成任务过程中遇到问题而无法进行下去时，求助于他人或查阅联机帮助或用户手册的次数。在提供任务完成率指标时，应区分有帮助和无帮助情况下的完成率。

ii效率指标

效率指的是产品的有效性(完成任务的正确完整程度)与完成任务所耗费资源的比率。这里的资源通常指时间，这时的效率为单位时间的工作量。在相同使用环境下，用户使用效率是评定同类产品或同一产品的不同版本优劣的依据之一。

效率的计算公式为：效率＝任务有效性/任务时间

这里的任务有效性是用户的任务完成率，任务时间为用户完成任务的时间。效率刻画了用户使用产品时单位时间内的成功率。一个高效的产品应当可以让用户在较短时间内以较高的成功率完成任务。

iii满意度指标

满意度刻画了用户使用产品时的主观感受，它会在很大程度上影响用户使用产品的动机和绩效。满意度指标通常使用问卷调查手段来获得。

(二)可用性测试方法

可用性测试方法及可用性测试过程可请参照图2。启动可用性测试时，首先依据测试需求制定测试计划，并依据计划做好测试准备，如测试硬件及软件环境的搭建、整理各类相关文档；在准备工作就绪后，就启动测试进程，进行可用性测试；最后，对可用性测试所获得的测试数据进行分析，从而形成可用性测试报告，作为可用性测试的最终产品。可用性测试操作的方法具体有用户评估和专家评估这两种。

i用户评估

一般是通过营造类似于真实使用环境的测试环境，让真实的用户执行真实的任务(根据具体的测试方法决定是否让用户独立完成任务)，在这一过程中由可用性人员进行观察、记录，也许还要与用户进行交流和引导来获得有用的数据，然后对数据进行分析，从中得到用户对产品设计的反馈意见和评估产品可用性质量的指标数据。根据评估目的和方式的不同，用户评估可以分为反馈搜集型和绩效度量型两种类型，它们在有的地方也被称为阶段型和总结型。

反馈搜集型用户评估：反馈搜集型用户评估多在设计、开发过程中进行，在开发的早期阶段应用较多。这类方法是非正式的，得到的多为定性的结果。其目的在于根据用户的反馈发现产品的可用性缺陷，了解用户需求及遇到的问题，及时改进产品设计。这种方法对原型或成品来说，是一种快速、经济地获得设计反馈的有效方法。这类方法中有的方法是让用户在真实的使用环境中独立完成测试任务，观察者不对用户进行任何干预和帮助，只是观察和记录用户执行任务时的有关数据和遇到的问题，通过分析发现产品设计中的可用性问题。有的方法则强调用户执行测试任务过程中观察者与用户的交流和协作。观察者可以就用户的目的和期望进行提问和引导，让用户对操作做出解释，并谈出感想。观察者应特别记录那些事先未预料到的操作行为及意见。

绩效度量型用户评估：绩效度量型用户评估是在产品开发完成后进行的一种正式的测试，目的是衡量产品的可用性质量，判断产品是否满足用户需求。这种评估通常在专门的可用性实验室中进行，按照可用性质量的指标体系，对有效性、效率及用户满意度进行严格和定量的评价。常用的绩效度量型用户评估方法有以下几种：

基于用户观察的绩效度量：这种方法适用于成品或高逼真度的原型，要求测试环境尽可能接近产品的使用环境，即真实的用户、真实的任务和真实的物理、社会环境，任务的设计要覆盖产品的主要功能，事先要制定详细的测试计划。在正式测试前应先进行试验测试，对不完善的环节进行调整，还应向用户进行必要的介绍和引导，使他们在心理上和测试程序上作好准备。在正式测试时用户应在无干预的情况下独立完成各项测试任务，由观察者观察和记录时间、出错、求助等数据，并进行录音和录像。在测试结束后对获得的数据进行详细分析，计算出有效性和效率这两个可用性指标。对于用户满意度指标，通常是在测试结束后，通过用户主观评估(如标准问卷调查)获得。

用户主观评估：用户在使用产品或原型后，会形成自己的主观感受和印象。用户主观评估通过问卷调查或直接交流等方式来来搜集用户对产品的主观感受，经心理度量学分析获得相应的指标，以此判断存在的可用性问题，评估其竞争力，改进设计。常用的方法包括SUMI问卷、认知负担调查以及个人面谈。

完成用户绩效评估和用户主观评估活动后，可用性测试人员已经获得并分析出了有关有效性、效率及用户满意度的各项数据指标。最后，提交关于产品可用性质量的测试报告。

ii专家评估

专家评估是由可用性或人类因素学专家，根据可用性设计原理、设计风格指南、标准和经验，对产品的可用性质量进行的评估活动。这种方法适用于系统开发的各个阶段，是一种快速、灵活和经济的评估方法，实例研究表明，其成本效益比可以达到1∶48。它可以有效地发现产品设计中与可用性原理和标准相抵触的可用性问题。

因为不同的评估专家往往倾向于发现不同的可用性问题，所以这种方法的效果与评估专家的人数有关系。研究表明，一个评估专家通常只能发现产品所存在可用性问题中的35％左右，所发现问题的数量随着专家人数的增加而增加，因此建议专家人数为5名左右较好，最少不能少于3名。通常这种评估分两遍进行，第一遍侧重于系统的流程和范围，第二遍侧重于各个部分的设计。每次评估不要太长，1-2小时比较合适，复杂的产品可以分几次进行评估。这种评估的结果一般是一个可用性问题的清单，同时注明每个问题所违反的可用性准则。为了使评估结果对改进产品设计更有指导意义，可以在评估后组织一个由评估专家和产品设计人员共同参加的会议，从设计上提出解决所发现可用性问题的办法。这类方法比较多，代表性的方法包括经验性评估、CELLO审查、可用性评审等。

(a)经验性评估：经验性评估是由评估者(人类因素学专家或人机交互专家)根据某些人类因素标准或规则对产品设计进行检查评估，并根据个人经验预测用户可能会遇到的问题。这种方法是一种快速、经济的评估方法，在开发周期的各个阶段都适用。评估结果反映了评估者的主观看法。

(b)CELLO审查：CELLO方法是以明确定义的各种标准为指导的集成的技术方法，这些标准涉及了大量的心理学和人类工效学理论、实验性结果、实际经验以及组织机构和个人信仰等方面的知识。CELLO可应用于生命周期的各个阶段，在早期阶段，用于检查用户系统需求及可用性需求效果不错。目前CELLO方法不仅在北欧国家颇为流行，在美国也已得到广泛应用。

iii可用性评审：该方法可用来发现屏幕设计的纸面原型、培训计划草案、草拟的各种资料等所存在的可用性问题。评估人员由可用性专家、开发人员及用户组成，各方人员分别审阅一套设计，然后依次阐述对设计的看法。该方法用于生命周期的早期。其优点是在进行一项重大的开发之前，以很小的代价快速获得用户针对纸面设计的反馈信息。

(三)可用性测试用例资源库

考虑到行业内有关数字家庭互动应用服务研究的基础薄弱，缺乏相关的经验与资源，该平台设立了可用性测试用例资源库，针对大量案例的分析基础上，针对不同内容的互动应用服务，分析研究其包含的共性与不同，逐步丰富测试用例资源库，从而为可用性测试提供研究基础及分析数据和理论的指导。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (4)

1.一种数字家庭互动应用服务可用性测试系统，其特征在于，包括：

可用性测试标准规范模块，用于作为评估和改进互动应用服务的可用性质量的参照系，包括互动应用服务的测试有效性，效率和满意度；

可用性测试模块，用于依据测试需求制定测试计划，并依据计划做好测试准备，在准备工作就绪后，启动测试进程，进行可用性测试；最后，对可用性测试所获得的测试数据进行分析，从而形成可用性测试报告；

可用性测试用例资源模块，用于存储可用性测试用例资源库，针对大量案例的分析基础上，针对不同内容的互动应用服务，分析研究其包含的共性与不同，逐步丰富测试用例资源库，从而为可用性测试提供研究基础及分析数据和理论的指导。

2.如权利要求1所述的系统，其特征在于，所述测试有效性指用户完成特定任务和达到特定目标时所具有的正确和完整程度，在可用性测试中，根据任务完成率、出错频度、求助频度这三个主要指标来衡量。

3.如权利要求1所述的系统，其特征在于，所述效率指的是产品的有效性与完成任务所耗费资源的比率，这里的资源通常指时间，这时的效率为单位时间的工作量。在相同使用环境下，用户使用效率是评定同类产品或同一产品的不同版本优劣的依据之一。

4.如权利要求1所述的系统，其特征在于，所述可用性测试模块中的可用性测试操作的方法具体包括用户评估和专家评估这两种。

Images