CN103534743B - 用于自适应知识评估与学习的系统与方法 - Google Patents

Abstract

本公开涉及用于自适应知识评估与学习的系统与方法。一种知识评估系统与方法，包括向学习者显示多个多选问题和两维答案，访问学习材料的数据库并且向学习者发送多个多选问题和两维答案。答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案。该方法进一步包括，通过基于学习者对两维答案的响应来指定各种知识状态名称，给对学习者管理的基于信心的评估（CBA）打分。

Description

用于自适应知识评估与学习的系统与方法

优先权与相关申请

本申请请求于2011年2月16日提交的美国专利申请号13/029,045的优先权。本申请还关于2010年10月20日提交的美国专利申请号12/908,303、2003年9月23日提交的美国专利申请号10/398,625、2005年7月23日提交的美国专利申请号11/187,606和2005年7月26日发布的美国专利号6,921,268。以上列出的每个申请的细节都引入到本申请中作为参考并且用于所有合适的目的。

技术领域

本发明的各方面涉及知识评估与学习并且涉及基于微处理器和联网的测试与学习系统。本发明的各方面还涉及知识测试与学习方法，而且更具体地说，涉及用于基于自信的评估（“CBA”）和基于自信的学习（“CBL”）的方法与系统，其中来自学习者的单个答案在他或她的响应中生成关于这个个人的自信与正确性的两个度量。根据这个过程的新型系统与方法方便紧密耦合形成性评估与学习而且因此在学习过程中可以立即补救的方法。此外，这个过程中所涵盖的新型系统与方法为每个学习者提供了自适应和个性化的学习方法。

背景技术

评估一个人在一个主题中的知识程度的传统多选测试技术包括改变可以通过一维或对/错（RW）答案来选择的可能选择的个数。典型的多选测试可能包括具有三个可能答案的问题，通常这些答案中的一个可以被学习者根据第一印象作为不正确而消除。这显著增加了对剩余答案的猜测导致把可能正确或可能不正确标记为正确的响应的概率。在这种情况下，关于他或她是知情的（informed）（即，对正确的响应自信）、误导（misinformed）（即，对响应自信，但是响应不正确）或者缺乏信息（即，学习者明确声明他或她不知道正确的答案，并且被允许以那种方式响应），成功的猜测将掩盖学习者知识的真实程度或状态。相应地，作为测量学习者知识的真实程度的一种方式，传统的多选一维测试技术是非常无效的。尽管有这个显著的缺陷，但传统的一维多选测试技术还是广泛地被信息密集和信息依赖的组织使用，例如银行、保险公司、公用事业公司、教育机构和政府机构。

传统的多选、一维（对/错）测试技术是强迫选择测试。不管他们是否知道正确答案，这种格式都要求个人选择一个答案。如果有三个可能的答案，随机选择将导致33%的机会得到正确答案。一维打分算法通常奖励猜测。通常，错误答案得分为零分，因此在完全不回答与猜测不成功之间打分没有区别。由于猜测有时候会导致正确答案，因此猜总比不猜好。已知，少数传统测试方法对错误答案提供负分，但是算法常常设计成使得消除至少一个答案转移有利于猜测的机会。因此，对于所有实践用途，猜测仍然是被奖励的。

此外，一维的测试技术鼓励个人在消除可能错误的答案和对正确答案进行最佳猜测确定方面变得很有经验。如果个人可以把一个可能的答案作为不正确而消除掉，那么挑出正确答案的机会就达到了50%。在70%通过的情况下，即使他们几乎什么都不知道，但是具有良好猜测技能的个人只会有20%不及格。因此，一维测试格式及其打分算法把个人的目的及其动机从自我评估和接收准确反馈朝着抬高测试得分以便通过一个阈值转移。

另一方面，基于自信的评估设计成消除猜测并准确地评估人的真实知识状态。

本发明的各方面建立在美国专利申请号12/908,303、美国专利申请号10/398,625、美国专利申请号11/187,606和美国专利6,921,268中公开的基于自信的评估（“CBA”）与基于自信的学习（“CBL”）系统与方法之上，所有这些申请和专利都引入本申请作为参考而且这些专利都被位于科罗拉多州博尔德的knowledge Factor公司拥有。这种基于自信的评估方法设计成消除猜测并且准确地评估学习者的真实知识状态。CBA和CBL格式（统称为“CB”）覆盖了三种意识状态：自信、怀疑和无知。不强迫个人选择一个具体的答案，而是他们可以自由地选择一个答案、两个答案或者声明他们不知道答案。CB答案格式更紧密地匹配应试者真正思考和感觉的状态。个人很快就认识到猜测将会受到惩罚，而且承认怀疑和无知比假装自信更好。而且，由于CBA不鼓励猜测，因此应试者把他们的焦点从应试策略和试着抬高得分朝着对他们真实知识与自信的诚实自我评估转移。实际上，个人越准确越诚实地自我评估他们自己的知识和自信感，他们的数字得分越好。

为了方便参考，在这里描述以上描述并引入作为参考的现有技术应用与系统。如图1所示，现有技术的知识评估方法与学习系统5提供了分布式的信息参考测试与学习解决方案10，为其用户的交互式需求服务。任意数量的用户可以只执行一个功能或充当一个角色，同时单个用户可以执行几个功能或充当多个角色。例如，系统管理员12可以执行测试评估管理、确认用户14的真实性、把测试查询递送到可以包括学习者在内的多个用户14（通过密码、指纹数据等）并且有规律地监视测试会话、评估和反馈。同样，系统用户14向管理员12提供认证并且参加测试。配置了适当人员的服务台16可以让用户14使用，解决可能遇到的任何问题。内容开发者18，或者测试的作者，设计并产生测试内容和/或关联的学习内容。

图2和3示出了可以用于实现知识评估与学习功能的分发并且通常涵盖各种功能步骤，如由图3中逻辑块100表示的功能步骤，的计算机网络体系结构的一种实施例。知识评估查询或问题通过多个目标终端20-1、2…n和22-1、2…n对每个注册的组织的学习者管理。提供一个或多个管理员终端25-1、26-1，用于管理来自对应组织的测试。每个受试者终端20、22和管理员终端25、26示为位于远端的计算机工作站，方便分别让学习者和管理员访问。通信是通过计算机视频屏幕显示、输入设备实现的，其中的输入设备例如键盘、触摸板、“游戏板”、移动设备、鼠标和本领域中已知的其它设备。每个受试者终端20、22和管理员终端25、26都优选地采用充足的处理能力来递送音频、视频、图形、虚拟现实、文档和数据的混合。

学习者终端20、22和管理员终端25、26的组经网络集线器40连接到一个或多个网络服务器30。服务器30配备例如RAID存储器的设施，充当用于受试者记录和测试结果的存储库。

如图2中看到的，本地服务器30-1、30-2彼此通信连接并连接到课件服务器30-3。作为系统远程操作性的说明，服务器连接是通过互联网主干50由常规的路由器60进行的。经互联网主干50传送的信息是经包括传输控制协议/互联网协议（“TCP/IP”）的业界标准实现的。

课件，或者说专用于教育和培训的软件与管理支持软件，在课件服务器30-3上存储并维护并且优选地遵循用于分布式学习模型的业界标准（ADL首创的），例如用于可以跨系统共享的课件对象的航空工业CBT委员会（AICC）或者共享内容对象参考模型（SCORM）。课件服务器30-3支持并实现本发明的软件解决方案，包括图3中所说明的功能步骤。软件可以在受试者终端20、22上运行，这些终端接受管理员的独立控制。系统8为各种数据库提供电子存储设施，容纳教育和学习材料、测试内容及及性能和管理相关的信息的存储与检索。

在操作中，任何位于远端的学习者都可以经受试者终端20、22与管理员终端上的任何管理员通信。系统8及其软件提供了多个基于web的页面与表单，作为用户（包括系统管理员12、学习者14和测试内容开发者18）和系统之间通过知识评估过程启用快速且容易的导航的通信接口的一部分。本发明知识评估与学习系统的基于web、支持浏览器的主页呈现给系统用户，该主页充当让用户访问系统网站及其相关内容的网关。主页包括成员（用户）登录菜单条，结合了用于系统访问与用户认证的必要计算机脚本。为了说明，术语“成员”有时候在本文中同义地称为“用户”。

成员登录提示系统8实现用户身份的认证及授权的访问等级，如本领域中通常所做的。

各方面提供了基于计算机软件的方式或测试建立器模块102，用户，例如测试管理员或测试内容开发者，可以通过该模块构建测试。

为了说明，测试构建或建立将在本文中参考可以经具有“建立”选项的主页访问的样本测试来描述。这个“建立”选项的选择导致测试建立器屏幕。测试建立器主屏幕结合了导航按钮或其它方式来访问测试表述（formulation）的主要方面。测试建立器屏幕包括支持管理任务的几个功能性软件脚本，例如记账（accounting）和用户认证、测试创建、编辑与上载、用户反馈统计数据的审查并且为了创建新测试提供用户与系统8的接口。为了本文的讨论，测试建立器屏幕也称为“创建新测试屏幕”。

当用户认证后，系统8把用户引到测试建立器屏幕。测试建立器屏幕提示用户填信息文本框，例如测试标识、测试名称和作者身份，并且初始化测试建立模块。当测试初始化后，系统为用户提供通过测试创建测试内容输入、对测试和/或图像的现有测试进行编辑的选项。

系统8进一步以超文本标记语言（“HTML”）和其它浏览器/软件语言提供编辑与格式化支持设施，以便包括用于文字和图像显示的字体、大小和颜色显示。此外，系统8还提供超链接支持，把图像与问题关联并且把查询与教育材料关联。

如以上所提到的，作为用户与系统之间的通信接口的一部分，系统8适于允许用户上载丰富文本格式的文件，用于利用多个基于web的页面与表单导入整个测试或者其一部分。此外，测试建立器模块102还适于接收各种常用格式的图像文件，例如*.GIF和*.JPEG。这个特征是有利的，就像在测试查询需要音频的情况下，可视和/或多媒体线索的情况下。到系统的文本与图像上载是通过用户激活作为用户接口或屏幕图像的一部分结合的脚本或其它方式来实现的。作为测试建立器（“创建新测试”）屏幕的一部分，超链接在屏幕图像上提供，该超链接激活系统脚本经常规的文件传送协议实现文件传输功能。

测试建立器模块102允许测试作者转换他们现有的测试或者以适当的格式创建新测试。测试作者输入问题或查询及多个可能的答案。每个问题必须有一个指定的答案作为正确选择，而其它的两个答案假定是错误的或者误导的响应。在所示出的例子中，每个查询都有三个可能的选择。

一旦已经利用作为呈现给用户的网页的一部分结合的输入设施构建了测试的主体，测试建立器102就把一维的对-错答案配置成非一维的答案格式。因而，在其中一个查询有三个可能答案的本发明的一种实施例中，以两维答案的形式，非一维的测试是根据预定义的自信类别或等级配置的。提供了三级自信分类，指定为：100%确信（只选择一个答案）；50%确定（选择最能代表答案的一对选择（A或B）（B或C）或者（A或C））；和不知道。对于50%确定类，答案被分成可能的选择对组合（A或B）（B或C）或者（A或C）。整个测试是利用由系统8指定给规定编号的问题域的每个查询及指定给规定字母标明的答案域的每个答案安排的。然后，查询、自信分类及关联的可能答案选择以适于在用户终端上显示的方式组合和格式化。每个可能的答案选择进一步与例如选中并点击按钮的输入装置关联，以便从学习者接受作为对他或她选择答案的响应的指示的输入。在本发明的一种实施例中，测试查询、自信分类和答案的呈现被通常使用的基于互联网的浏览器支持。输入装置可以示为与每个可能的答案选择相邻的独立的选中并点击按钮。作为替代，输入装置可以作为答案选择显示的一部分嵌入，当学习者在答案上选中并点击时，激活该输入装置。

如从以上讨论中看到的，该系统大大方便了非一维查询的构建或者传统一维或“RW”查询的转换。本发明的测试与学习建立功能对在其上构建测试的测试材料的本质是“盲目的”。对于每个查询或问题，系统将只需要对测试查询的形式而不是其内容；可能的答案和正确答案；及学习者选择的答案选择起作用。

测试建立器102还允许用户把每个查询链接到与那个查询有关的具体的学习材料或信息。材料是由系统存储的，可以向用户提供容易的访问，作为文字构建的参考。它们还构成基于对学习者管理的知识评估性能指引学习者进行进一步的培训或再教育的数据库。这些学习材料包括文本、动画、音频、视频、网页和IPIX照相机及类似的培训材料来源。提供作为测试建立器功能的一部分的导入功能，把这些链接的材料接受到系统当中。

知识评估查询或测试向学习者的呈现是由“显示测试”或显示测试模块104启动的。通过被计算机脚本支持，显示测试模块104包括用于每个学习者认证、评估会话通知及用于从系统检索查询以便可视呈现给学习者的管理功能。可选地，查询可以按超文本或其它软件语言的格式呈现，如管理员可以确定的，可以通过适当的统一资源定位符（“URL”）链接到存储在系统8中的学习材料或课件数据库或者链接到其它资源或网站。

如以上所提到的，学习者的知识评估是由多个非一维查询向学习者的呈现启动的。作为对可以从预定义自信分类中选择的实质性多选答案的响应，这些查询中的每一个都是可以回答的。

作为一种实施例的例子，测试查询或问题将包括三个答案选择及包括学习者的响应和他或她对那个选择的自信分类的两维答题模式。自信分类是“我确信”、“我部分确信”和“我不知道”。没有任何响应的查询被认为，并且缺省地是，“我不知道”。在其它实施例中，“我不知道”选择用“我不确信”选择代替。

知识评估的各方面可以在不同的地理位置和在不同的时段对独立的学习者管理。此外，知识评估可以实时地管理，把测试查询呈现给学习者。整个测试查询集可以大块下载到学习者的工作站，其中，在把响应传送（上载）到系统8的课件服务器之前，查询是整体回答的。作为替代，测试查询可以在回答每个查询的情况下一次一个地呈现，每次回答完一个查询，学习者的响应就传送到课件服务器。用于管理知识评估的两种方法都可以可选地由驻留在工作站中的或者位于课件服务器的软件脚本或子例程实现，实现对受试者对所给出的任何或全部测试查询响应的时间量的测量。当这样修改之后，时间测量脚本或子例程充当时间标记器。在本发明的例子实施例中，电子时间标记器识别由课件服务器把测试查询发送到学习者的时间和对答案的响应由学习者返回到服务器的时间。这两个时间标记的比较产生了受试者审查并对测试查询进行响应的时间量。

当所有查询都被回答之后，“给你的测试打分”功能被调用，如通过学习者点击受试者工作站终端上的“给你的测试打分”按钮条或输入设备，这将终止知识评估会话。系统8初始化“收集响应”或收集响应模块106的操作，这个模块包括收集学习者对测试查询的响应的计算机软件例程。然后，这些响应被组织并安全地存储到所收集的与系统8关联的响应数据库中。

其后，调用打分引擎或者响应比较模块108（“响应比较”），关于主体的响应与指定的正确答案执行“响应与正确答案的比较”，据此计算总分。

在现有技术系统中，采用打分协议，通过该协议，利用预定义的加权打分策略编译学习者的响应或答案。这种加权打分协议对与学习者的高自信等级的指示关联的正确响应向学习者指定预定义的得分点（point score）。这种得分点在这里称为真正知识点，它将反映学习者在测试查询的主题内的真正知识程度。

相反，这种打分协议为与高自信等级的指示关联的不正确响应向学习者分配负的得分点或者惩罚。负的得分点或惩罚具有显著大于对同一测试查询的知识点的预定值。这种惩罚在这里称为误导点，这将指示学习者得到的知识不正确。

得分点传递到打分模块108，该模块计算学习者的原始得分，及其它各种性能指标。系统8进一步包括“准备学习者反馈”模块110，该模块准备这种表现数据并且经“准备学习者反馈”模块114把它们准备给学习者。以类似的方式，“准备管理反馈”模块112准备受试者的表现数据并且经“管理反馈模块”116把它们准备给测试管理员。在本发明的一种实施例中，这些打分部件包括原始得分、知识简档；表示为百分比的累积得分知识简档；自信得分；误导差距；个人培训计划；知识索引；及表现分级。

作为反馈的一部分，系统8组织测试查询，这些测试查询基于知识质量区域呈现给学习者或其他系统用户。系统8使用在模块102中创建的所存储信息来创建到那个课程的超链接，从而与质量区域关联地配置个人学习计划，其中所述信息为每个问题识别具体的课程。因而，一旦计算出测试得分，学习者或系统用户就能够识别出指示补救动作的信息缺乏区域。

知识评估与学习系统的各个任务得到任何已知的网络体系结构与软件解决方案的支持。图4给出了现有技术的流程图，该图示出了可以供本文公开的新方面使用的集成的测试创作、管理、跟踪和报告及关联的数据库。

如图4所示，为了支持测试创建，测试建立者页面202被测试创建者204利用在创建者用户数据库DB 206中识别出的合适认证启动。数据库206由创建者监控器208管理。测试创建者204提供用于测试查询的内容材料，这些材料存储在测试数据库，测试DB 210，中。创建测试页面214，结合来自DB 210的测试内容材料和来自指定DB 217的测试指定指令。指定DB 217包括例如对测试内容的管理控制、测试调度和学习者认证的功能。指定DB 217由审查监控器218管理和控制。

测试查询经测试页面214对一个或多个经过认证的学习者216管理。一旦参加了测试，结果就被编译并传递到打分程序模块212上，该模块计算原始得分232。原始得分，及其它表现数据，作为数据库235、236和237的一部分存储。测试审查员226利用测试结果数据库235、236、237生成测试得分审查页面222。基于测试得分审查页面222的分析，审查员226可以更新审查员DB 224。然后，经过编译和打分的测试结果可以立即报告给受试者，而且可以为受试者提供他们的结果235、236、237，后面跟着具有对解释每个问题234的超链接访问的答案。

关于图1-4中体现的这些现有系统描述的结构还可以联系本专利申请中所公开并且以下更具体描述的新过程与系统使用。

通过把附加的方面结合到结构化的CBA和CBL格式中，根据本申请的系统与方法的各方面进一步精炼基于自信的方法。在个人完成CBA或CBL之后，他们的答案集用于生成知识简档。关于错误（误导）、未知、怀疑和掌握的领域和程度，知识简档向个人与组织给出关于学习过程的信息。

发明内容

本发明的各方面提供了用于知识评估和学习的方法与系统，该方法与系统准确地评估学习者知识的真实程度并且根据识别出的不足领域提供对受试者进行补救的学习或教育材料。本发明结合了基于自信的评估与学习技术的使用并且可以在基于微处理器的计算设备或联网的通信客户-服务器系统上部署。

根据本发明的设备与方法的其它方面提供了用于个性化、自适应评估和学习的机制，其中，依赖于每个学习者如何回答特定的问题，学习和评估系统的内容以个性化的方式递送到每个学习者。

在某些实施例中，这些响应将依赖每个学习者的知识、技能与自信证明而变，而且，依赖与学习者为每个问题提供的知识质量，系统及其底层算法将自适应地馈送未来的评估问题和关联的补救。

本发明的另一方面是使用可重用的学习对象结构，该结构提供内置机制，来无缝地集成具体的学习成果表、使学习者相对于每个学习成果综述获得必要知识和/或技能的主题及证实学习者是否相对于每个学习成果综述真正获得了知识和/或技能连同他/她对那个知识或技能的自信的多维评估。那些学习对象的可重用性是通过构建到本发明中的内容管理系统来启用的，使得作者可以容易地搜索、识别和重用现有的学习对象。

本发明的其它方面涵盖了集成的报告能力（capability），使得管理员、作者、登记人员和作者可以评估每个用户的知识证明质量及在学习对象中所显示出来的学习材料的质量。报告能力是基于存储在数据库中的用于每个用户响应的数据可高度定制的。

根据另一方面，知识评估系统与方法包括向学习者显示多个多选问题和两维答案，访问学习材料的数据库，并且向学习者发送多个多选问题和两维答案。答案包括多个由单选答案组成的完全自信答案，多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案。通过基于学习者对两维问题的响应指定各种知识状态名称，该方法进一步包括对学习者管理的基于自信的评估（CBA）打分。

附图说明

图1是现有技术的概念设计图，示出了根据本发明各方面的知识与误导测试与学习系统的各种参与者和交互；

图2是现有技术的示例性计算机网络体系结构的透视图，该体系结构支持本发明各方面的方法与系统；

图3是根据本发明各方面的测试与报告结构的一种实施例的现有技术逻辑框图；

图4是根据本发明各方面的现有技术流程图，示出了提供集成的测试创作、管理、跟踪与报告的网络体系结构和软件解决方案；

图5是说明根据本发明各方面具有七个响应选项的问题&答案格式的屏幕打印；

图6说明了根据本发明各方面使用的自适应学习框架的一般性视图；

图6A-6C说明了根据本发明各方面使用的轮选算法；

图7A-7D说明了根据本发明各方面使用的过程算法的例子，概述了如何给用户响应打分，而且那些得分如何通过评估与补救来确定进展；

图8说明了由根据本发明各方面构建的系统所生成的知识简档的例子；

图9-13说明了由根据本发明各方面构建的系统所生成的各种报告能力；

图14说明了联系本发明各方面使用的三层应用系统体系结构；

图15说明了可以结合本发明各方面使用的机器或其它结构性实施例；及

图16说明了可重用学习对象的结构、那些学习对象如何组织到模块中，及那些模块如何公布显示给学习者。

具体实施方式

本发明的实施例与各方面提供了用于构建知识评估与学习的方法与系统。各种实施例结合了可以部署在基于微处理器的或者联网通信的客户-服务器系统上的基于自信的评估与学习技术的使用，这种技术从学习者提取基于知识并基于自信的信息。在一般的意义上，所述评估结合了非一维的测试技术。

根据另一方面，本发明是用于基于自信的评估（“CBA”）和基于自信的学习（“CBL”）的健壮方法与系统，其中，一个答案生成关于个人自信和他或她响应的正确性的两个度量，从而便于立即补救的方法。这是通过三个基本工具来完成的：

1.消除了需要猜答案的测试与打分格式。这导致对“真实”信息质量更准确的评价。

2.更准确地揭示一个人：（1）准确地知道；（2）部分知道；（3）不知道；及（4）确信他们知道但实际上不正确的打分方法。

3.只集中到他们真正需要指导性或再教育关注的那些领域的结果知识简档。这消除了在实际上不需要关注的领域浪费的时间和努力。

总的来说，上述工具是由以下方法或“学习周期”实现的：

1.参加评估。这以把标准的三个答案（“A”、“B”、“C”）的多选测试编辑成结构化CBA格式的步骤开始，结构化CBA格式对于每个问题具有七个可能的答案，这些答案覆盖了三种意识状态：自信、怀疑和无知，由此更紧密地匹配应试者的意识状态。

2.审查知识简档。给定一组答案，实现了告诫学习者猜测要受到惩罚并且承认怀疑和无知比假装自信更好的CBA打分算法。然后，CBA答案集被编译并作为知识简档显示，把答案更精确地分成有意义的知识区，给予个人和组织关于错误（误导）、未知、怀疑和掌握的领域与程度的丰富反馈。知识简档是表现与能力的更好度量，尤其是在鼓励更见多识广（better-informed）、更高信息质量的公司培训环境的背景下，从而员工了减少高代价的知识与信息错误，并且提高了生产率。

3.关于材料审查问题、答案和解释。

4.进一步审查培训和信息链接，获得对主题材料的更好理解。

5.迭代–这个过程可以根据个人需要重复许多次，以便获得对内容的适当理解。作为这种迭代模型的一部分，（依赖于使用什么算法）打分为自信且正确的答案可以从呈现给学习者的问题列表中除去，使得学习者可以集中到他/她的具体技能差距。在每次迭代过程中，呈现给学习者的问题个数可以由ampModule中所有问题的一个子集来表示；这可以由ampModule的作者来配置。此外，通过使用在构成该系统的软件代码中调用的随机数发生器，问题及对每个问题的答案在每次迭代过程中是按随机次序呈现的。

根据一方面，本发明产生知识简档，该简档包括对系统用户的形成性和总结性评价并且识别各种知识质量等级。基于这种信息，系统通过一种或多种算法把用户的知识简档关联到学习材料数据库，然后该数据库可以传送到系统用户或学习者，用于实质性响应的审查和/或再教育。

由用户对测试管理与学习的各方面的迭代适应包括信息与学习材料的存储、测试或查询创建、编辑、打分、报告和学习。

本发明的各方面适于部署在独立的个人计算机系统上。此外，它们还可以部署在例如万维网的计算机网络环境上，或者内联网客户-服务器系统中，其中，“客户”通常是由适于访问由另一个计算设备，服务器，提供的共享资源的计算设备表示的。见例如联系图2和15描述的网络环境。结合了各种数据库结构与应用层，来启用通过各种用户许可等级的迭代，每个等级都在本文更完全地描述。

根据按照本发明构建的系统的其它方面，还可以结合以下一个或多个特征。在以下讨论中，为了方便参考，使用本领域中的某些术语，但这不是要以与权利要求中所述不同的任何方式限定这些术语的范围。

ampUnit（amp单元）ampUnit–指呈现给评估与学习系统的学习者或其他用户的单个问题/答案。

ampModule（amp模块）ampModule–指在任何给定的测试/评估情形下呈现给学习者的一组ampUnit（例如，问题和答案）。

编译CBA测试与打分格式

建立、开发或以别的方式编译CBA格式的测试使得必需把包括三个答案（“A”、“B”和“C”）的多选问题的标准多选测试转换成可以由七个选项回答的问题，这七个选项覆盖三种意识状态：自信、怀疑和无知。

图5是说明具有七个响应选项的这种问题&答案格式的屏幕打印。响应所呈现的问题，要求学习者在他们的选择中提供既指示他们的实质性答案又指示自信等级的两维答案。在图5的例子中，在问题下面列出了一维选择。但是，还要求学习者在第二个维度中回答，这在标题“我确信”、“我部分确信”和“我不确信”下分类。“我确信”类包括三个单选答案（A-C）。“我部分确信”类允许主体在任何两个单选答案的集合（A或B、B或C、A或C）之间选择。还有一个“我不确信”类，该类包括一个特殊的“我不确信”答案。这种三选项七答案的格式是基于显示少于三个选择由于更容易猜到答案而答对会引起错误的研究。多于三个选择会造成不利地影响测试真正得分的一定程度的混淆（记住前面的选择）。

图6说明了在本发明各方面中体现的自适应学习框架结构的高级概述。根据本文所公开各方面的整体方法与系统通过作为学习者前面响应的函数向每个学习者提供评估与学习程序而实时地修改。根据本发明的其它方面，依赖于每个学习者如何回答特定的问题，学习与评估系统的内容以个性化的方式递送到每个学习者。具体而言，那些响应将依赖与每个学习者的知识、技能与自信证明而变，而且该系统及其底层算法将依赖学习者对每个问题提供的知识质量自适应地馈送未来的评估问题和相关补救。

通过迭代增加保留

学习者的自信与知识保留高度相关。如上所述，本方法询问并测量学习者的自信等级。但是，它进一步促使受试者对他们的答案完全自信，以便得到真正的知识，由此增加知识保留。这部分地是通过迭代步骤获得的。在个人如上所述审查CBA中材料的结果之后，学习者可以重新参加评估，根据需要可以很多次，以便得到真正的知识。这产生了多个知识简档，这些知识简档帮助个人理解并测量他们通过该评估过程的提高。

在一种实施例中，当一个个人重新参考评估时，问题被随机化，使得个人不会以与上次评估同样的次序看到相同的问题。问题是在数据库中开发的，其中，某个问题集合覆盖一个主题领域。为了提供材料的真正知识获取和测试，每次呈现一定数量的问题，而不是整个问题库。这允许个人随着时间发展和提高他们对材料的理解。

ampUnit（问题）向学习者的显示

在以上讨论过的现有技术实施例中，问题整体显示给用户（所有问题一次性地在一个列表中）而且用户也整体回答问题。在这里所述的另一种实施例中，问题一次一个地显示。根据进一步的实施例，学习是通过问题显示给用户的方式的整体随机化来增强的。广义地说，选定的问题分组允许系统更好地把学习环境剪裁到适合特定的场景。如上所述，在有些实施例中，问题和问题组被分别称为ampUnit和ampModule。在一种实施例中，作者可以配置ampUnit是否“组块”或者以别的方式分组，使得在任何一轮给定的学习中只有一个给定ampModule中的全部ampUnit的一部分呈现。ampUnit还可以在每一轮学习或迭代中以随机化的次序呈现给用户。学习系统的作者可以选择一个给定ampUnit中的答案在每一轮学习期间总是以随机次序显示。问题呈现的随机化可以同时结合到学习环境的学习和评估部分中。

这里的各方面将基于该ampUnit前面回答得怎样来使用加权系统确定一个问题在任何给定的一轮中显示的概率。在一种实施例中，如果一个特定的问题在前一轮中回答得不正确，那么该问题显示的概率就比较高。图6A-6C说明了根据本发明各方面的轮选算法和过程流。

继续参考图6A-6C，示出了总体上描述在特定一轮学习中根据问题选择来使用的逻辑的一种实施例的算法流1000。步骤1002-1052中每一个的描述包括在流程图中，而且逻辑步骤在示出过程流的流程图中的各个决定节点说明。

计分与测试评价算法

关于知识评估与测试系统的实现的各方面调用各种新型算法来评价并给特定的测试环境打分。图7A-7D说明了说明用于知识评估与学习的四个“目标状态”策略的算法流程图。图7A示出了初始的评估策略，图7B示出了直接打分策略，图7C示出了“一次正确”熟练策略，图7D示出了“两次正确”掌握策略。这些目标状态中的每一个都是由系统的作者或管理员确定的，作为用于特定测试会话中学习者的适当目标。在图7A-7D中，使用以下命名法来描述对问题的任何特定响应：CC=自信&正确，DC=怀疑&正确，NS=不确信，DI=怀疑&不正确，CI=自信&不正确。

首先参考图7A，显示出评估算法300，其中，在302，最初看不见的问题（UNS）呈现给学习者。依赖于来自学习者的响应，关于那个学习者对那个特定问题的知识等级进行评估。如果学习者自信并且正确地回答了问题（CC），在304就认为知识状态是“熟练”。如果学习者怀疑但答对了问题，在306就认为知识状态是“知情”。如果学习者回答说他不确信，在308就认为知识状态是“不确信”。如果学习者怀疑而且回答不正确，在310就认为知识状态是“不知情（uninformed）”。最后，如果学习者自信地回答而且不正确，在312就认为知识状态是“误导”。

参考图7B，示出了直接打分算法。直接打分算法400的左边部分类似于评估算法300，具有映射到对应评估状态名称的初始响应分类。参考图7B，示出了评估状态算法400，其中，在402，最初看不见的问题（UNS）呈现给学习者。依赖于来自学习者的响应，关于那个学习者对那个特定问题的知识等级进行评估。如果学习者自信并且正确地回答了问题（CC），在404就认为知识状态是“熟练”。如果学习者怀疑但答对了问题，在406就认为知识状态是“知情”。如果学习者回答说他不确信，在408就认为知识状态是“不确信的”。如果学习者怀疑而且回答不正确，在410就认为知识状态是“不知情”。最后，如果学习者自信地回答而且回答不正确，在412就认为知识状态是“误导”。在图7B所述的算法中，当对于特定的问题给出两次相同的响应时，评估状态名称不改变而且确定学习者对于那个特定的问题具有相同的知识等级。

参考图7C，示出了一次正确熟练算法。在图7C中，学习者知识的评估是由对同一问题的后续回答确定的。就像在图7A和7B中，在502给出初始问题并且，基于对那个问题的响应，学习者的知识状态在504被认为是“熟练”、在506是“知情”、在508是“不确信”、在510是“不知情”或者在512是“误导”。图7C中用于每个特定响应的图例类似于前面算法过程中的那些并且如图7A中所标示的。基于第一响应反类，学习者对那个相同问题的后续回答将根据图7C中所公开的算法转移学习者的知识等级。例如，参考自信且正确（CC）的初始问题响应并且因此在步骤504分类为“熟练”，如果用户随后自信并且不正确地回答该同一问题，那么该用户对那个特定问题的知识的评估状态从504的熟练变成520的不知情。遵循图7C中所阐述的策略，如果那个学习者将回答“不确信”，则评估状态将在518分类为“不确信”。评估状态的改变把对同一问题的变化答案作为因素考虑进去了。图7C详细绘出了对特定问题的各种答案集可能的各种评估状态路径。作为图7C中所示的另一个例子，如果学习者第一次在512回答“误导”并且随后回答“自信且正确”，则结果评估状态将在516移到“知情”。因为图7C展开了了“熟练”测试算法，所以不可能获得“掌握”状态524。

参考图7D，示出了两次掌握算法600。类似于图7C，算法600示出了把对同一问题的多个答案作为因素考虑进去的知识评估过程。就像在现有技术的图中，初始问题在602给出并且，基于对那个问题的响应，学习者的知识状态在604被认为是“熟练”、606是“知情”、在608是“不确信”、在610是“不知情”或者在612是“误导”。图7D中用于每个特定响应的图例类似于前面算法过程中的那些并且如图7A中所标示的。基于第一响应分类，学习者对那个相同问题的后续答案将根据图7D中所公开的算法转移学习者的知识等级状态。利用图7D，附加的“掌握”知识评估状态包括在点630和632而且可以基于在图7D的流程中所示出的各种问题与答案场景获得。作为一个例子，问题在602呈现给学习者。如果那个问题是“自信而且正确”回答的，则评估状态在604被认为是“熟练”。如果相同的问题随后第二次“自信且正确”回答，则评估状态在632移到“掌握”。在这个例子中，通过连续两次“自信而且正确”回答，系统认识到学习者已经掌握了特定的事实。如果学习者第一次在602“怀疑且正确地”回答了所呈现的问题而且因此评估状态在606分类为“知情”，那么，为了实现“掌握”，他将需要再连续两次“自信而且正确地”回答该问题，之后，评估状态将分类为“掌握”。图7B详细描述了对特定问题可能具有各种答案集的各种评估路径。

在图7D的例子中，到达“掌握”知识状态有几条可能的路径，但是，在这些路径中的每一条，都要求正确且自信地连续两次回答特定的ampUnit。在一种场景下，如果学习者已经处于特定问题的掌握状态，而且随后不是“自信而且正确地”回答那个问题，则依赖于给出的具体问题，知识状态将降级到其它状态中的一个。依赖学习者对任何给定问题的响应的达到掌握的多条路径为每个用户产生了自适应、个性化的评估与学习经历。

在以上所讨论的每一种实施例中，实现了执行以下通用步骤的算法：

1）识别由作者定义的目标状态配置，

2）利用相同的分类结构相对于目标状态依靠每一轮学习中的每个问题给学习者进程分类，及

3）在下一轮学习中，依赖对一个ampUnit中问题的上次响应的分类显示该ampUnit。

这些算法的操作的更多细节与实施例如下：

目标状态配置的识别：给定知识评估的作者可以定义系统中的各种目标状态，以便达到定制的知识简档并且确定一个特定的ampUnit（例如，问题）是否被认为完成。以下是由上述算法流程图并且结合图7A-7D体现的这些目标状态的附加例子：

a.一次正确（熟练）-在ampUnit被认为完成之前，学习者必须一次回答“自信+正确”。如果学习者回答“自信+不正确”或者“部分确信+不正确”，则在该ampUnit被认为完成之前，学习者必须回答“自信+正确”两次。

b.两次正确（掌握）-在ampUnit被认为完成之前，学习者必须两次回答“自信+正确”。如果学习者回答“自信+不正确”或者“部分确信+不正确”，则在该ampUnit被认为完成之前，学习者必须回答“自信+正确”三次。作为管理员或测试作者的偏好，一旦经由以上一个场景ampUnit被标记为“完成”，它就可以从进一步的测试轮中除去。

给学习者进展分类：该系统的某些方法适于相对于（上述）目标状态利用与本文所述类似的分类结构依靠每一轮学习中的每个问题给学习者的进展分类，例如，“自信+正确”、“自信+不正确”、“怀疑+正确”、“怀疑+不正确”及“不确信”。

ampUnit的后续显示：下一轮学习中ampUnit的显示依赖于相对于目标状态对那个ampUnit中问题的上次响应的分类。例如，“自信+不正确”响应具有在下一轮学习中显示的最高可能性。

把知识简档编成文档–在另一种实施例中，编成文档的知识简档是基于以下一个或多个信息块。1）如由评估的作者设置的测试的配置目标状态（例如，掌握对熟练）；2）每一轮学习中或者给定评估中学习者评估的结果；及3）学习者的响应如何通过所实现的特定算法来打分。根据需要或期望，知识简档可以让学习者或其他用户获得。同样，这个功能可以由评估作者或者系统的其他管理员选择性地实现。图8说明了可以作为由用户完成的评估结果生成的所显示知识简档的几个例子。在有些实施例中，独立的算法用于生成知识简档并且可以基于以上所述的特征或者基于通过响应分类分开的响应百分比的简单列表。在图8中，图表702和704说明了可以递送到学习者的整体知识简档，示出了关于学习的每个分类进行的20个问题指定与进程的细分。用于由学习者给出的任何特定问题的即时反馈可以按706、708、710和712中所示的形式给出。

系统角色–在进一步的实施例中，除了以上声明的系统角色（受试者-终端用户、内容开发者、管理员和服务台），还可以预期例如学习者、作者、登记人员和分析人员的角色。

功能性步骤的例子

在一种实施例中，在评估执行过程中使用以下步骤。

以下阐述的一个或多个步骤可以按任何次序实现：

a.作者计划并开发ampUnit。

b.ampUnit聚集成模块（ampModule）。

c.ampModule聚集成更高阶的容器。这些容器可以可选地分类为课程或程序。

d.对所开发的课程进行测试，以确保正确的功能性。

e.发布课程并使其可以被使用。

f.一个或多个学习者注册到该课程。

g.学习者参与如在该课程中找到的评估和/或学习。

h.学习可以组块或以别的方式分组，使得，在给定的模块中，学习者对于每一轮学习都既经历评估又经历学习阶段。

i.基于对每一轮学习的迭代为每个学习者开发并显示个性化或以别的方式自适应的知识简档，在每一轮学习中提供的问题和相关补救可以基于ampModule的配置及那个配置如何修改底层算法而以个性化、自适应的方式获得。

j.在评估阶段，熟练或掌握得分在模块完成之后向学习者示出。

k.在学习阶段，在提交每个答案后，反馈立刻提供给学习者。

l.反馈是在一轮中的每轮评估完成之后关于知识质量（分类）给出的。

m.反馈是朝着任何给定ampModule中的熟练或掌握关于跨所有轮完成日期与进展的知识质量（分类）给出的。

n.依赖他/她回答与每个ampUnit关联的问题，向学习者呈现每一轮学习每一个ampModule的自适应、个性化的ampUnit集合。系统的自适应本质是由计算机实现的算法控制的，该算法基于前面一轮学习中学习者对ampUnit的响应确定学习者多久将看到那些ampUnit。这种相同的知识简档在数据库中捕捉并且随后拷贝到报告数据库。

根据另一方面，报告可以从知识简档数据生成，用于以变化的形态向学习者或指导者显示。学习者可以对已经完成的任何模块进行审查并且可以对已经完成的任何模块进行复习。该系统可以配置成使学习者可以接收与作者建立的模块关联的目标的证书记录成绩（certificate documenting achievement）。图9-13说明了可以用于传达在特定的指定或指定组中的进展的各种例子。图9示出了个别学生通过学习模块到达掌握点的跟踪。图10示出了单个问题跨一校园个人（团体）到达掌握点的跟踪。图11示出了单个班级跨具体核心能力的跟踪。图12示出了分成章节的在线学习指导的总结。图13示出了通过模块指定的单个班级或团体的跟踪。

硬件与机器实现。如上所述，本文所述的系统可以在多种独立或联网的体系结构中实现，包括各种数据库与用户接口结构的使用。本文所述的计算机结构可以用于评估与学习材料的开发与递送而且可以按多种形态起作用，包括独立的系统、（经万维网或互联网）分布的网络。此外，其它实施例包括多个计算平台与计算机设备的使用。

分层系统体系结构–在一种实施例中，系统使用由用户接口层、表现层和数据库层组成的三层体系结构，每一层都通过库结合到一起。图14说明了可以根据本发明一方面实现的系统体系结构图750。万维网应用体系结构750是可以用来实现根据本发明构建的设备与系统的各种面向机器的方面的一种结构性实施例。体系结构750包括三个通用层：表现层、业务逻辑层和数据抽象与持久化层。如图14中所示，客户工作站752运行浏览器754或其它用户接口应用，它自己包括客户端侧表现层756。客户工作站752连接到包括服务器侧表现层760、业务层762和数据层764的应用服务器758。应用服务器758连接到包括数据库768的数据库服务器766。

图15说明了形式为计算机系统900的机器的一种实施例的图示表示，在该系统中，可以执行使设备执行本公开内容一个或多个方面和/或方法的一组指令。计算机系统900包括经总线915彼此通信并且与其它部件通信的处理器905和存储器910。总线915可以包括使用多种总线体系结构中任何体系结构的几种类型的总线结构中的任意一种，包括但不限于，存储器总线、存储器控制器、外围总线、本地总线及其任意组合。

存储器（内存，memory）910可以包括各种部件（例如，机器可读介质），包括，但不限于，随机存取存储器部件（例如，静态RAM“SRAM”、动态RAM“DRAM”，等等）、只读部件及其任意组合。在一个例子中，基本输入/输出系统920（BIOS）可以存储在存储器910中，其中BIOS包括例如在启动期间帮助在计算机系统900中的元件之间传输信息的基本例程。存储器910还可以包括（例如，存储在一个或多个机器可读介质上）体现本公开内容任意一个或多个方面和/或方法的指令（例如，软件）925。在另一个例子中，存储器910可以进一步包括任何数量的程序模块，包括，但不限于，操作系统、一个或多个应用程序、其它程序模块、程序数据及其任意组合。

计算机系统900还可以包括存储设备930。存储设备（例如，存储设备930）的例子包括，但不限于，用于从硬盘读和/或向硬盘写的硬盘驱动器、用于从移动磁盘读和/或向移动磁盘写的磁盘驱动器、用于从光学介质（例如，CD、DVD等）读和/或向光学介质写的光盘驱动器、固态存储器设备及其任意组合。存储设备930可以通过合适的接口（未示出）连接到总线915。例子接口包括，但不限于，SCSI、高级技术附连（ATA）、串联ATA、通用串行总线（USB）、IEEE 1394（FIREWIRE）及其任意组合。在一个例子中，存储设备930可以与计算机系统900可拆卸地接口（例如，经外部端口连接器（未示出））。特别地，存储设备930和关联的机器可读介质935可以提供机器可读指令、数据、程序模块和/或用于计算机系统900的其它数据的非易失性和/或易失性存储。在一个例子中，软件925可以完全或部分地驻留在机器可读介质935中。在另一个例子中，软件925可以完全地或部分地驻留在处理器905中。计算机系统900还可以包括输入设备940。在一个例子中，计算机系统900的用户可以经输入设备940把命令和/或其它信息输入计算机系统900。输入设备940的例子包括，但不限于，字母数字输入设备（例如，键盘）、定点设备、操纵杆、游戏板、音频输入设备（例如，麦克风、语音响应系统等）、光标控制设备（例如，鼠标）、触摸板、光学扫描仪、视频捕捉设备（例如，照相机、摄像机）、触摸屏及其任意组合。输入设备940可以经各种接口（未示出）接口到总线915，其中的接口包括，但不限于，串口、并口、游戏端口、USB接口、FIREWIRE接口、到总线915的直接接口及其任意组合。

用户还可以经存储设备930（例如，移动磁盘驱动器、闪存驱动器等）和/或网络接口设备945把命令和/或其它信息输入到计算机系统900。网络接口设备，例如网络接口设备945，可以用于把计算机系统900连接到一个或多个各种网络，例如网络950，及连接到其的一个或多个远端设备955。网络接口设备的例子包括，但不限于，网络接口卡、调制解调器及其任意组合。网络或网络片段的例子包括，但不限于，广域网（例如，互联网、企业网）、局域网（例如，与办公室、大楼、校园或其它相对小的地理空间关联的网络）、电话网络、两个计算设备之间的直连及其任意组合。例如网络950的网络可以采用有线和/或无线的通信模式。总的来说，任何网络拓扑结构都可以使用。信息（例如，数据、软件925等）可以经网络接口设备945传送到和/或从计算机系统900传送。

计算机系统900可以进一步包括视频显示适配器960，用于向显示设备，例如显示设备965，传送可显示的图像。显示设备可以显示关于可归因于消费者的污染影响和/或污染偏移量的任意数量和/或多种指示器，如以上所讨论的。显示设备的例子包括，但不限于，液晶显示器（LCD）、阴极射线管（CRT）、等离子显示器及其任意组合。除了显示设备，计算机系统900还可以包括一个或多个外围输出设备，包括，但不限于，音频扬声器、打印机及其任意组合。这种外围输出设备可以经外围接口970连接到总线915。外围接口的例子包括，但不限于，串口、USB连接、FIREWIRE连接、并行连接及其任意组合。在一个例子中，音频设备可以向消费者提供关于计算机系统900的数据（例如，代表关于可归因于消费者的污染影响和/或污染偏移量的数据）的音频。

如果需要的话，可以包括数字转换器（未示出）和附带的触控笔，以便数字化地捕捉手写输入。笔数字转换器可以单独配置或者与显示设备965的显示区域共同扩张。相应地，数字转换器可以与显示设备965集成，或者可以作为覆盖在显示设备965上或者以别的方式附加到显示设备965的独立设备存在。显示设备还可以按具有或不具有触摸屏能力的平板设备的形式体现。

组块学习–根据另一方面，评估的作者可以配置是否把ampUnit组块或者以别的方式分组，使得只有给定模块中全部ampUnit的一部分在给定的一轮学习中呈现。所有“组块”或分组都是由作者在模块配置步骤中确定的。在这种实施例中，还有一个基于“完成”的指定定义除去完成的ampUnit的选项。例如，依赖于作者或管理员指定的目标设置，完成可以在一次正确与两次正确之间区分。

ampUnit结构–本文描述的ampUnit被设计成“可重用的学习对象”，它表现了以下一个或多个全面特性：能力综述（学习结果综述或学习目标）；获得那种能力所需的学习、及使那种能力的获取生效的评估。ampUnit的基本组成部分包括：介绍；问题、答案（1个正确、2个不正确）、解释（知道信息的需求）、“扩展你的知识”的选项（知道信息很高兴）、元数据（通过元数据，作者有能力把能力链接到可归因于对下游分析有显著好处的每个ampUnit的评估与学习）；及作者笔记。利用内容管理系统（“CMS”），这些学习对象（ampUnit）可以按目前或精炼后的形式在学习模块（ampModule）的开发中快速重用。

ampModule结构–ampModule在递送给用户或学习者时充当ampUnit的“容器”，而且因此是将为学习者呈现或者以别的方式经历的课程的最小可用组织单元。如以上所指出的，每个ampModule优选地包含一个或多个ampUnit。在一种实施例中，ampModule是根据算法配置的。ampModule可以如下配置：

a.目标状态–这可以作为一定数量的正确答案来设置，例如，一次正确或两次正确，等等。

b.掌握的（完成的）问题的去除–一旦学习者已经到达一个特定问题的目标状态，它就可以从ampModule除去并且因此不再呈现给学习者。

c.ampUnit的显示–作者或管理员可以设置是否整个ampUnit列表都在每轮答题中显示或者是否在每一轮中只显示部分列表。

d.完成得分–作者或管理员可以设置学习者被认为已经完成一轮学习的点，例如，通过特定得分的获得。

e.读/写许可–这些可以由设计ampUnit的作者或其它设计组设置。

课程结构–在某些实施例中，作者或管理员有能力（ability）控制课程如何递送给学习者的结构。例如，程序、课程和模块可以重新命名或者以别的方式修改或重构。此外，ampModule可以配置成作为独立的评估（总结性评估）向学习者显示，或者作为结合了系统的评估与学习能力的学习模块显示。

学习者仪表板

作为在此所述的系统的一个组成部分，提供显示并组织信息的各个方面的学习者仪表板，用于让用户访问和审查。例如，用户仪表板可以包括以下一个或多个：

我的指定页–在一种实施例中，这包括具有以下一个或多个状态的当前指定的列表：开始指定、继续指定、审查、开始复习、继续复习、执行审查。在该指定页内还包括关于当前程序的各方面的通用信息的程序、课程与模块信息。指定页还可以包括之前和之后必需列表，例如为了完成特定指定或培训程序而需要参加的其它课程。复习课程将经不同的算法只呈现集中到学习者需要花更多时间的那些的ampUnit的选定的组。审查模块将显示特定学习者通过给定评估或学习模块的进展轨迹（对先前参与的评估或学习模块的历史观点）。

学习页–这可以包括在学习阶段显示的进展仪表板（既包括表格又包括图形数据）。学习页还可以包括学习者任何前一轮学习的结果与跨已经完成的所有轮的结果按照类别的百分比响应。

评估页–这个页可以包括在评估之后显示的进展仪表板（既包括表格又包括图形数据）。

报告与时间测量–报告角色在各种实施例中都被支持。在某些实施例中，报告功能可以具有其自己的用户接口或仪表板，以便基于系统中可用的模板创建各种报告。定制的报告模板可以由管理员创建并且可以让任何特定的学习环境获得。其它实施例包括捕捉学习者回答给定ampModule中每个ampUnit及回答所有ampUnit所需时间量的能力。还捕捉有多少时间花在审查答案上。见图13。从报告生成的模式可以是从报告功能中的趋势搜集到的一般化和附加信息。见图9-13。报告功能允许管理员或老师算出在未来的教学中最好在哪里花时间。

内容上载的自动化–根据其它方面，本文所述的系统可以适于使用添加ampUnit或ampModule的各种自动化方法。可以在学习系统中实现读取、解析并且把数据写入适当数据库的代码。学习系统还可以启用脚本的使用来自动化从之前格式化好的数据的自动化，例如，从csv或xml到学习系统。此外，定制建立的丰富文本格式模板可以用于捕捉并把学习材料直接上载到系统中并保留格式化与结构。

优选地，学习系统支持大部分计算机应用中所使用的各种标准类型的用户接口，例如，当点击鼠标右键时出现上下文依赖的菜单显示，等等。该系统还优选地具有几个附加特征，例如拖放能力及搜索与替换能力。

数据安全性–本发明的各方面及各种实施例使用标准信息技术安全性实践来维护私有、个人和/或其它类型敏感信息的保护。这些实践（部分地）包括应用安全性、服务器安全性、数据中心安全性及数据隔离。例如，对于应用安全性，要求每个用户创建一个管理密码来访问他/她的账户；应用是利用http来保护的；所有管理员密码都在可重复的基础上改变而且密码必须满足强密码最小需求。例如，对于服务器安全性，所有管理员密码都是每三个月利用满足强密码最小需求的新随机密码改变一次，而且管理员密码是利用编码的密码文件管理的。对于数据隔离，本发明及其各种实施例使用多租户共享策略，其中数据是利用域ID逻辑隔离的，单个登录帐号属于且只属于一个域，包括知识因素管理员，对数据库的所有外部访问都是通过应用，而且应用查询经过严格测试。

开关

根据本发明各方面构建的学习系统在其实现中使用各种“开关”，以便允许作者或其它管理员角色“拨上去”或“拨下来”学习者为了完成模块而必须证明的掌握。与这些开关关联的功能性基于实验心理学中的相关研究。结合到本文所述学习系统中的各种开关如下扩展。每个开关的实现将依赖特定的实施例和本发明的部署配置而变。

重复–算法驱动的重复开关用于启用对学习者的迭代答题轮，以便达到掌握。在传统意义上，通过学习经迭代轮的有目的和高度可配置的递送，重复增强了记忆。重复开关使用形成性评估技术而且，在有些实施例中，与不具有强制选择答案的问题的使用相结合。本发明及其各种实施例中的重复可以通过加强，或者不加强，评估与学习材料对终端用户的重复、重复的频率及每次重复中内容结块的程度来控制。

起动（priming）–预测试方面在系统中用作基本测试方法。通过预测试的起动给出了知识记忆轨迹的某个方面，然后这方面通过重复的学习来加强。利用本发明各方面的学习开辟了具有某个相关主题的记忆轨迹，然后加强那条途径并创建附加的途径来让头脑捕捉具体的知识。在本发明及其各种实施例中，起动开关可以按多种方式控制，例如通过使用正式的预评估，及按照学习过程中形成性评估的标准使用。

反馈–反馈循环开关既包括当一个答案提交时的立即反馈又包括在一轮的学习部分中的详细反馈。关于他/她正确或错误地回答（get）一个问题对学习者的立即反应对于性能有显著的影响，如关于学习之后的评估所证明的。本发明及其各种实施例中的反馈开关可以按多种方式控制，例如通过使用总结性评估结合标准学习（其中，标准学习方法结合了形成性评估），或者在每个ampUnit中提供的反馈的程度（例如，为正确和不正确的答案都提供解释对只为正确答案提供解释）。

上下文–上下文开关允许作者或其它管理角色除去对特定问题来说不关键的图像或其它信息。本发明及其各种实施例中的上下文开关使作者或管理员能够使学习与研究环境尽可能紧密地反映真实的测试环境。例如，图像与其它图形方面可以包括在较早的学习轮中，但随后被除去，以便模拟将不包括那些相同图像参考的测试或真实工作环境。图像或其它媒体可以放在介绍当中或者问题本身当中，而且可以在学习阶段中选择性或者作为复习的一部分常规部署。在实践当中，如果学习者需要在没有可视帮助的情况下回忆起信息，则学习系统可以修改成在学习过程的稍后阶段没有可视帮助地向学习者呈现问题。如果需要一些核心知识来开始掌握过程，则图像可以在学习过程的早期阶段使用。本文的原理是使学习者经过某个时间周期后丢弃图像或其它支持性但不关键的评估和/或学习材料。在上下文开关的一种独立但相关的配置中，作者可以确定在特定ampUnit或ampModule中基于场景的学习需要什么样的百分比。

精制（elaboration）开关–这个开关具有各种配置选项。例如，精制开关允许作者在跨多个地点与格式的单个响应中提供对知识和确定性的同时评估。精制可以由初始问题、基本类型问题、基于场景的问题和基于模拟的问题组成。这种开关提供了正确答案（识别答案类型）与自信程度的同时选择。它还提供了对正确和不正确答案的解释的审查。这可以由基于文字的答案、媒体增强的答案或模拟增强的答案提供。精制提供了支持核心知识的附加知识并且还为学习的加强提供了简单的重复。这种开关还可以配置成一次正确（熟练）或两次正确（掌握）学习等级。在实践当中，当前被测试的信息与学习者可能已经知道或者已经测试过的其它信息关联。当思考你已经知道的一些东西时，你可以关联这点学习（this bit of learning），来精制或放大你正在努力学习的信息块。

间隔–根据本发明及其各种实施例的间隔开关利用把内容手动组块成更小尺寸的块，这允许支持长期记忆发生（例如，蛋白质合成）的生物过程，及增强的编码与存储。这种突触合并（synaptic consolidation）依赖于测试之间一定量的休息并且允许记忆合并的发生。在本发明的各种实施例中，间隔开关可以按多种方式配置，例如设置每一轮中ampUnit的数量和/或每个模块中ampUnit的数量。

确定性–确定性开关允许在单个响应中对知识和确定性的同时评估。这种类型的评估对于学习者的知识简档和整个学习阶段的正确评价是很重要的。根据本发明各方面及其各种实施例的确定性开关可以利用一次正确（熟练）或两次正确（掌握）的配置来格式化。

关注–根据本发明各方面及其各种实施例的关注开关要求学习者提供对他/她知识的确定性的判断（即，既要求学习者的情感判断又要求关系判断）。因此，突出了学习者的关注。组块也可以用于改变学习者所需的关注程度。例如，ampUnit的组块（每个ampModule中ampUnit的数量及每一轮中显示的ampUnit的数量）把学习者的关注集中在特定主题中达到掌握所需的核心能力和相关学习。

动机–根据本发明各方面及其各种实施例的动机开关启用学习者接口，该接口提供关于学习者在任何给定模块、课程或程序中一轮或多轮学习中进展的清楚指示。在各种实施例中，这种开关可以向每个学习者显示定性的（分类）或量化的（打分）进展。

注册

本发明的各方面及其各种实施例包括内建的注册能力，由此用户帐户可以从系统添加或删除，用户可以被放成“活动”或“不活动”状态，而且用户（经用户帐户）可以被指定到系统中的各种评估与学习程序。

学习管理系统集成

本发明的各方面及其各种实施例具有作为独立应用操作的能力而且可以技术性地与第三方学习管理系统（“LMS”）集成，使得具有在LMS中管理的各种评估与学习指定的学习者可以利用或者不利用单点登录能力启动并参与系统中的评估和/或学习。技术集成是通过多种业界标准实践启用的，例如航空工业CBT委员会（AICC）互操作性标准、http发帖、web服务及其它此类标准技术集成方法。

闪存卡

一种简单的像闪存卡的接口在系统的一些实施例中用于清楚地识别并向学习者呈现由该学习者选择的答案、正确答案及用于正确答案和（可选地）不正确答案的高级和/或具体解释。此外，相同的闪存卡接口可以用于对那个特定的学习成果或能力为学习者呈现附加的学习机会。

头像

在系统的各种实施例中，显示具有简洁文字消息的头像（avatar），以便根据需要向学习者提供指导。消息的本质，及何时和在哪里显示头像，是可以由系统的管理员配置的。建议使用头像向用户提供醒目的指导。例如，头像可以用于提供关于上述开关如何从学习者的角度影响学习的指导。在本发明中，头像只向学习者提供，而不向作者或系统中的其他管理角色提供。

ampUnit库的结构与指定

图16说明了根据本发明各方面构造的ampUnit库的整体结构。在一种实施例中，ampUnit库800包括元数据部件800a、评估部件800b和学习部件800c。元数据部件800a被分成与可配置项相关的区，作者期望把这些项与每个ampUnit关联，例如能力、主题与子主题。除了元数据部件，评估部件800b被分成与介绍、问题、正确答案和错误答案相关的区。学习部件800c被进一步分成解释区和扩展你的知识区。

还包括ampModule库820，这个库包含用于操作性算法的配置选项及关于Bloom等级、应用、行为和附加能力的信息。管理员或作者可以按以下方式使用这些结构。第一，在802创建ampUnit，在804创建用于ampUnit的关键元素，在806把内容和媒体组装到ampUnit中。一旦ampUnit库800已经创建，就在808通过确定包括在ampModule中的适当ampUnit来创建ampModule 820。在创建ampModule之后，在810发布学习指定。

工业应用

证明

基于自信的评估可以用作基于自信的证明工具，既作为预测试实践评估，又作为学习工具。在预测试评估的这种情况下，基于自信的证明过程将不提供任何补救，而是只提供得分和/或知识简档。基于自信的评估将指示个人是否在给出的任何证明材料中具有任何自信地持有的误导。这还将向证明主体提供抑制证明的选项，其中误导存在于给定的主题领域中。由于CBA方法比当前的一维测试更精确，因此基于自信的证明增加了证明测试的可靠性和证明授予的有效性。在该系统用作学习工具的情况下，可以在系统中为学习者提供全宽度的形成性评估和学习表现，以帮助学习者识别具体的技能差距，并且补救性地填补那些差距。

2.基于场景的学习

基于自信的评估可以应用到自适应学习方法，其中，一个答案生成关于自信和知识的两个度量。在自适应学习中，视频或场景对描述情形的使用帮助个人逐步完成支持他们的学习和理解的决策过程。在这些基于场景的学习模型中，个人可以重复该过程多次，以便发展他们将如何处理给定情形的熟悉性。对于场景或模拟，通过确定个人在他们的决策过程中有多自信，CBA和CBL添加了一个新的维度。利用基于场景的学习方法，基于自信的评估的使用使个人能够识别他们在什么地方不知情并且在其表现与行为中有怀疑。重复基于场景的学习直到个人变得完全自信增加了个人将快速并与其培训一致地采取动作的可能性。CBA和CBL也是“自适应的”，因为每个用户都基于他或她自己的学习态度和现有知识与评估和学习进行交互，而且因此学习将对每个用户高度个性化。

3.调查

基于自信的评估可以作为基于自信的调查工具来应用，它结合了三个可能答案的选择，其中，个人指示他们对一个话题的自信和意见。就像以前一样，个人从七个选项中选择一个答案响应，确定他们对给定话题的自信和理解或者他们对特定观点的理解。问题格式将关于对一个产品或服务领域的属性或对比分析，其中，理解和自信信息都被要求。例如，营销公司可能提问“以下哪个是展示新土豆片产品的最佳位置？A)收银台；B)与其它零食产品一起；C)在一条过道的末尾”。营销人员不仅对消费者的选择感兴趣，而且对消费者对其选择的自信或怀疑感兴趣。添加自信维度增加了一个人对回答调查问题的参与并且给予营销人员更丰富和更精确的调查结果。

根据本发明的更多方面提供了学习支持，其中，学习资源是基于如知识评估简档中所反映的学习者的可量化需求，或者通过本文所给出的其它表现测量，来分配的。因而，本发明的各方面提供了根据学习者所拥有的真正知识程度来分配学习资源的方式。与当学习者失败时通常要求他或她重复整个课程的常规培训相反，本文所公开的本发明的各方面方便例如学习材料的学习资源的分配、通过指示学习需求的指导和学习时间、再培训及对主体被误导或者不知情的那些实质领域的再教育。

由该系统实现的本发明的其它方面向用户提供或给出“个人培训计划”页。这个页显示根据各种知识区域分类并分组的查询。分组的查询中的每一个都超链接到询问学习者的正确答案及其它相关的实质性信息和/或学习材料。可选地，问题还可以超链接到在线信息参考或离站设施。代替浪费时间审查涵盖测试查询的所有材料，学习者或用户可以只集中到关于需要关注或再教育的那些领域的材料。通过集中到被误导和部分信息的领域，关键信息的错误可以很容易地识别出来并且被避免。

为了实现这种功能，评估简档映射或关联到信息数据库和/或实质性学习材料，这些材料存储在系统8中或者例如万维网中的资源的远离系统的设施。链接呈现给学习者，用于审查和/或再教育。

此外，本发明进一步提供了测试查询到相关材料或感兴趣材料的自动化交叉引用，关于所述材料形成该测试查询。这个能力有效并高效地方便培训和学习资源部署到真正需要附加培训或再教育的那些领域。

另外，利用本发明，与再培训和/或再教育关联的任何进展都可以很很容易地测量。在再培训和/或再教育之后，（基于现有的表现结果），学习者可以对测试查询的部分或全部重新进行测试，从其可以开发出第二知识简档。

在所有上述应用中，本方法都给出对知识和信息的更准确的测量。个人认识到猜测是要受到惩罚的，而且承认怀疑和无知比假装自信更好。他们把他们的焦点从应试策略和试着抬高得分朝着对他们真实知识与自信的诚实的自我评估转移。这给予受试者及组织关于错误、未知、怀疑和掌握的区域与程度的丰富反馈。现在已经完全阐述了作为本发明基础的概念的优选实施例和某些修改，当熟悉这些基础概念之后，各种其它实施例及对本文所示实施例的某些变化和修改对本领域技术人员来说是很容易想到的。因此，应当理解，本发明可以不像这里具体阐述的那样来实践。

Claims (31)

1.一种用于知识评估的系统，包括：

显示设备，用于向学习者显示多个多选问题和两维答案；

应用服务器，适于经通信网络与显示设备通信；

数据库服务器，包括学习材料的数据库，其中所述多个多选问题和两维答案存储在数据库中，用于选择性递送到客户终端，该系统执行以下的方法，

经通信网络向显示设备发送所述多个多选问题和对其的两维答案，答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案；

通过经显示设备向学习者呈现所述多个多选问题和对其的两维答案来管理评估，并且经显示设备接收学习者对所述多选问题的选定答案，通过选定答案，学习者既指示他们的实质性答案又指示他们答案的自信分类等级；

通过指定以下知识状态名称来给评估打分：

响应学习者自信且正确的答案，熟练知识状态；

响应学习者怀疑且正确的答案，知情知识状态；

响应学习者不确信的答案，不确信知识状态；

响应学习者怀疑且不正确的答案，不知情知识状态；及

响应学习者自信且不正确的答案，误导知识状态；

一次或多次重复施加评估中的一个或多个问题，在多组问题之间设有可调节持续期的休息，重复施加的数量基于指定给学习者的知识状态并且能够被管理员配置；以及

基于指定给学习者的知识状态来选择在重复施加期间多组问题之间的休息持续期，其中，当指定给学习者熟练知识状态时多组问题之间的休息持续期被调整为长于当指定给学习者不确信、不知情或误导知识状态时的休息持续期，

其中，特定问题被重复施加的概率取决于与学习者对该特定问题的答案相关联地指定的知识状态，并且误导知识状态对应于最高的概率。

2.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者第一次自信且正确的答案之后响应学习者第二次自信且正确的答案，熟练知识状态；

在学习者自信且正确的答案之后响应学习者怀疑且正确的答案，知情知识状态；

在学习者自信且正确的答案之后响应学习者不确信的答案，不确信知识状态；

在学习者自信且正确的答案之后响应学习者怀疑且不正确的答案，不确信知识状态；及

在学习者自信且正确的答案之后响应学习者自信且不正确的答案，不知情知识状态。

3.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者怀疑且正确的答案之后响应学习者自信且正确的答案，熟练知识状态；

在学习者怀疑且正确的答案之后响应学习者怀疑且正确的答案，知情知识状态；

在学习者怀疑且正确的答案之后响应学习者不确信的答案，不确信知识状态；

在学习者怀疑且正确的答案之后响应学习者怀疑且不正确的答案，不知情知识状态；及

在学习者怀疑且正确的答案之后响应学习者自信且不正确的答案，误导知识状态。

4.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者不确信的答案之后响应学习者自信且正确的答案，熟练知识状态；

在学习者不确信的答案之后响应学习者怀疑且正确的答案，知情知识状态；

在学习者不确信的答案之后响应学习者不确信的答案，不确信知识状态；

在学习者不确信的答案之后响应学习者怀疑且不正确的答案，不知情知识状态；及

在学习者不确信的答案之后响应学习者自信且不正确的答案，误导知识状态。

5.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者怀疑且不正确的答案之后响应学习者自信且正确的答案，熟练知识状态；

在学习者怀疑且不正确的答案之后响应学习者怀疑且正确的答案，知情知识状态；

在学习者怀疑且不正确的答案之后响应学习者不确信的答案，不确信知识状态；

在学习者怀疑且不正确的答案之后响应学习者怀疑且不正确的答案，误导知识状态；及

在学习者怀疑且不正确的答案之后响应学习者自信且不正确的答案，误导知识状态。

6.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者自信且不正确的答案之后响应学习者自信且正确的答案，知情知识状态；

在学习者自信且不正确的答案之后响应学习者怀疑且正确的答案，不确信知识状态；

在学习者自信且不正确的答案之后响应学习者不确信的答案，不知情知识状态；

在学习者自信且不正确的答案之后响应学习者怀疑且不正确的答案，误导知识状态；及

在学习者自信且不正确的答案之后响应学习者自信且不正确的答案，误导知识状态。

7.如权利要求1所述的系统，还包括：

依据重复施加的结果，指定以下名称：

在学习者第一次自信且正确的答案之后响应学习者第二次自信且正确的答案，掌握知识状态；

在学习者自信且正确的答案之后响应学习者怀疑且正确的答案，知情知识状态；

在学习者自信且正确的答案之后响应学习者不确信的答案，不确信知识状态；

在学习者自信且正确的答案之后响应学习者怀疑且不正确的答案，不确信知识状态；及

在学习者自信且正确的答案之后响应学习者自信且不正确的答案，不知情知识状态。

8.如权利要求1所述的系统，还包括从所打分后的CBA编译知识简档，包括学习者掌握、熟练、知情、不确信、不知情和误导的答案的等级的图形说明。

9.如权利要求8所述的系统，还包括：

通过与向学习者显示知识简档相关联地、还向受试者显示多选问题连同学习者的一个或多个答案、正确答案、解释及对用于该问题的相关学习材料的参考，鼓励学习者的补救学习；

利用多个不同的多选问题重新管理评估；

从管理和重新管理的评估编译并向受试者显示合成的知识简档。

10.如权利要求1所述的系统，其中，当指定给学习者熟练知识状态时多组问题之间的休息持续期大于当指定给学习者知情知识状态时的休息持续期。

11.如权利要求1所述的系统，其中，接续问题之间的休息持续期基于指定给学习者的知识状态。

12.如权利要求11所述的系统，其中，当指定给学习者熟练知识状态时接续问题之间的休息持续期大于当指定给学习者误导知识状态时的休息持续期。

13.一种知识评估方法，包括：

在显示设备向学习者显示多个多选问题和两维答案；

经通信网络启动应用服务器与显示设备之间的通信协议；

访问数据库服务器，该数据库服务器包括学习材料的数据库，其中所述多个多选问题和两维答案存储在该数据库中，用于选择性递送给显示设备，用于知识评估的方法包括：

经通信网络向显示设备发送所述多个多选问题和两维答案，答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案；

管理评估，包括经显示设备向学习者呈现所述多个多选问题和两维答案，并且经显示设备接收学习者对所述多选问题的选定答案，通过选定答案，学习者既指示他们的实质性答案又指示他们答案的自信分类等级；

通过指定以下名称来给评估打分：

响应学习者自信且正确的答案，熟练知识状态；

响应学习者怀疑且正确的答案，知情知识状态；

响应学习者不确信的答案，不确信知识状态；

响应学习者怀疑且不正确的答案，不知情知识状态；及

响应学习者自信且不正确的答案，误导知识状态；以及

一次或多次重复施加评估中的一个或多个问题，在多组问题之间设有可调节持续期的休息，重复施加的数量基于指定给学习者的知识状态并且能够被管理员配置，并且基于指定给学习者的知识状态来选择在重复施加期间多组问题之间休息的持续期，并且当指定给学习者熟练知识状态时多组问题之间的间隔不同于当指定给学习者不确信、不知情或误导知识状态时的间隔，

其中，特定问题被重复施加的概率取决于与学习者对该问题的答案相关联地指定的知识状态，并且误导知识状态对应于最高的概率。

14.一种知识评估方法，包括：

在显示设备向学习者显示多个多选问题和两维答案；

访问数据库服务器，该数据库服务器包括学习材料的数据库，其中所述多个多选问题和两维答案存储在该数据库中，用于选择性递送给显示设备，用于知识评估的方法包括：

向显示设备发送所述多个多选问题和两维答案，答案包括多个由单选答案组成的完全自信答案、多个由一组或多组多个单选答案组成的部分自信答案及一个不确信答案；

通过指定以下名称来给对学习者管理的评估打分：

响应学习者自信且正确的答案，第一知识状态；

响应学习者怀疑且正确的答案，第二知识状态；

响应学习者不确信的答案，第三知识状态；

响应学习者怀疑且不正确的答案，第四知识状态；及

响应学习者自信且不正确的答案，第五知识状态；以及

一次或多次重复施加评估中的一个或多个问题，在多组问题之间设有可调节持续期的休息，重复施加的数量基于指定给学习者的知识状态并且能够被管理员配置，并且基于指定给学习者的知识状态来选择在重复施加期间多组问题之间休息的持续期，并且当指定给学习者第一知识状态时多组问题之间的间隔不同于当指定给学习者第三、第四或第五知识状态时的间隔，

其中，特定问题被重复施加的概率取决于与学习者对该特定问题的答案相关联地指定的知识状态，并且误导知识状态对应于最高的概率。

15.如权利要求14所述的方法，还包括结合一个或多个算法开关来确定向学习者呈现哪些问题。

16.如权利要求15所述的方法，其中至少一个开关是重复开关。

17.如权利要求15所述的方法，其中至少一个开关是起动开关。

18.如权利要求15所述的方法，其中至少一个开关是反馈开关。

19.如权利要求15所述的方法，其中至少一个开关是上下文开关。

20.如权利要求15所述的方法，其中至少一个开关是检索开关。

21.如权利要求15所述的方法，其中至少一个开关是精制与关联开关。

22.如权利要求15所述的方法，其中至少一个开关是间隔开关。

23.如权利要求15所述的方法，其中至少一个开关是确定性开关。

24.如权利要求15所述的方法，其中至少一个开关是关注开关。

25.如权利要求15所述的方法，其中至少一个开关是动机开关。

26.如权利要求14所述的方法，其中第一知识状态是熟练。

27.如权利要求14所述的方法，其中第二知识状态是知情。

28.如权利要求14所述的方法，其中第三知识状态是不确信。

29.如权利要求14所述的方法，其中第四知识状态是不知情。

30.如权利要求14所述的方法，其中第五知识状态是误导。

31.如权利要求1所述的系统，其中评估适于向学习者提供学习、培训和个性化自适应功能中的一个或多个。