CN102959602A

CN102959602A - 基于方程的评估定级方法及采用相同方法的参与者响应系统

Info

Publication number: CN102959602A
Application number: CN201180031438.0A
Authority: CN
Inventors: 大卫·拉比内; 阿尔伯特·舒; 洛塔尔·温泽尔
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2010-06-25
Filing date: 2011-06-27
Publication date: 2013-03-06
Also published as: EP2586021A4; EP2586021A2; US9117375B2; CA2803644A1; WO2011160217A2; AU2011269688A1; US20110318724A1; WO2011160217A3

Abstract

一种计算机化评估定级方法，其包括：为一已接收的基于方程的响应创建语法树，所述响应对应至少一评估问题；为至少一解答创建语法树，所述解答对应至少一问题；对所述语法树进行比较；以及根据比较结果对所述响应进行定级。

Description

基于方程的评估定级方法及采用相同方法的参与者响应系统

技术领域

本发明主要涉及到参与者响应系统，特别是基于方程的评估定级方法及采用相同方法的参与者响应系统。

背景技术

参与者响应系统用于使事件的参与者能够对提出的问题、议案或本领域中熟知的类似事物输入响应并且具有广泛的适用性。例如，在会议、研讨会或类似活动期间，可以向参与者提供手机，使参与者能够回答问题，或对会议或研讨会期间提出的议案投票。在娱乐领域可以向听众提供手机，使听众对娱乐节目或体育活动投票。这些参与者响应系统也适用于教育领域。可以向参与者提供手机，使参与者回答在课堂、测试或小测验中或提出的问题。这些参与者响应系统具有显著的优势，可以向提出者、主持人、娱乐节目制作人或活动组织者提供即时反馈。研究表明，在教育领域，如果能够获得参与者理解和领悟状态的快速反馈，那么主讲人的教学质量更高而且参与者的学习效果更好。因此，这种参与者响应系统在教育领域获得广泛接受也就毫不奇怪了。

参与者响应系统主要分为两类，即有线和无线参与者响应系统。在有线参与者响应系统中，参与者使用的用于响应提出的问题或给议案投票的响应设备通常连接到本地网络，并与基础计算机或主机通信。在无线参与者响应系统中，参与者使用的用于响应提出的问题或给议案投票的响应设备通过无线通信连接与主机通信。无论有线或无线，多种不同类型的参与者响应系统已被考虑。

Lockhart等人的美国专利4,247,908公开了一种用于主机的双向通信系统，包括一台控制单元、一个基站和多个手持、便携式无线/数据终端单元。该控制单元直接与主机连接，但采用无线连接与便携式无线/数据终端单元相连。每个便携式无线/数据终端单元包括一台双向无线电设备和一台数据终端。该数据终端包括一只用于输入数据的键盘和一台用于显示读取的数据或本地产生数据的LED显示器。主机通过控制单元轮询和/或选择便携式无线/数据终端单元发起通信。控制单元响应来自主机的一次“轮询”，发送以前接收到的来自便携式无线/数据终端单元的消息，或在没接收到消息时，回复“无消息”作为回答。控制单元通过轮询邀请便携式无线/数据终端单元向控制单元发送数据并保存，如有必要，数据被分组并发送到主机。控制单元轮询为下一次轮询周期收到的数据向便携式无线/数据终端单元发出确认消息。

Abrahamson等人的美国专利5,002,491公开了一种交互式电子教室系统，使主讲人可以向参与者传授概念，并接收到参与者对教授概念所掌握程度的即时反馈。提供的结构使参与者能够步调一致地或以自己的进度做练习和小测验，以电子化的方式回答问题，主讲人可以接收到回答，并以直方图或其他形式显示的图形解释读出参与者的回答。该交互式电子教室系统包括一台中央计算机和多台参与者计算机，参与者计算机的类型从简单设备到功能成熟完备的个人电脑，通过网络连接到中央计算机。还可使用可选的外设硬件，例如录像机（VCR）或其他记录/重现设备连接到计算机网络，向参与者提供课程。

Drimmer等人的美国专利6,790,045公开了一种方法和系统，通过将参与者的表现划分为与电子课程相关的相应活动的离散表现类别，从而分析参与者的表现。对这些表现类别中至少一种，度量所观察到的参与者的表现程度。为一个或多个表现类别建立一个表现程度或范围的基准。然后确定所观察到的参与者的表现程度是否符合为至少一个表现类别所建立的表现程度基准。根据所观察的参与者表现与至少一个基准间的任何实质性偏差确定所观察的参与者的教学反馈。

Roschelle等人的美国专利2004/0072136公开了一种方法和系统，用于评估参与者对可能在时间和空间上展开的过程的理解。该系统包括瘦客户端设备，其为手掌大小、能与主工作站无线通信的手持式计算机。该系统提供了一种指导参与者执行自解释的复杂方法，并使指导员通过在课堂上提供有意义并且快速的反馈从而增强其教学过程的价值。

Aggarwal等人的美国专利6,381,444描述了一种通过计算机网络实现虚拟教室和远程教育的系统。该系统执行的过程包括从一个或多个指导员那里接收信号，这些信号包括指定为属于一个或多个兴趣组的教学材料。教学材料被提前发送给该材料被指定属于的一个或多个兴趣组的学生。一个或多个学生发来信号，请求进入特定教室的许可，然后指令被发送给学生，以控制该教学材料的显示和执行。

现有的商业响应系统，例如：英国兰开夏郡布莱克本的Promethean有限公司生产的ActivExpression^TM系统和美国德克萨斯州的eInstruction of Denton公司生产的CPSPulse^TM系统，允许对问题进行管理，其答案为只能输入字符串文本的方程。不幸的是，评估这些问题答案的评级引擎只能执行简单的字符串比较。这些系统要求输入的回答和指导员的答案必须完全匹配，导致评估定级存在潜在的错误。

由Shatnawi等人发表在2007年10月28-31日举行的第二届国际数字信息管理大会（ICDIM'07）上的题为“数学搜索中使用分析树规范化等价检测”的研究报告描述了一种搜索互联网上数学方程的技术。该研究报告描述了在不同搜索词之间确定数学等价的困难挑战以及可能呈现在网页上的结果。该研究涉及到实现一种技术，将用户的数学搜索查询转换为唯一的规范化形式。从代数和结构两方面实行规范化。

虽然先前技术的参与者响应系统允许对参与者的问卷进行管理并收集响应数据，这些参与者响应系统通常限制快速、自动地对基于方程的评估进行定级的功能。基于方程的评估定级容易出错，因为基于方程的问题可能有不止一个正确答案。例如，方程y=2x²-2可以正确分解为2(x+1)(x-1)或2(x-1)(x+1)。但是，如果一组参与者的主讲人将答案定义为2(x+1)(x-1)，而参与者输入的回答为2(x-1)(x+1)，那么该参与者的回答可能会被评判为错误。这个问题还有一些其他的正确答案，当作为响应被提交后可能也会被评定为错误。

因此，本发明的目的是提供一种新的基于方程的评估定级方法，以及采用该方法的新颖参与者响应系统。

发明内容

因此，本发明一方面提供了一种计算机化的评估定级方法，包括为接收到的至少一个评估问题的基于方程的回答创建语法树并且为该至少一个问题的至少一个答案建立语法树；比较这些语法树；并且根据比较结果为回答评分。

而另一方面，本发明提供了一种计算机化的评估定级方法，包括根据接收到的评估问题的基于方程的回答创建基于该回答的操作符和操作数的层次结构；将该操作符和操作数的层次结构与答案的操作符和操作数的层次结构相比较；并且根据比较结果为回答评分。

从另一方面，本发明提供了一种包括至少一个响应设备的参与者响应系统，每个响应设备有一个输入界面，允许用户为问题输入基于方程的回答；以及一处理结构，其与每个响应设备通信，所述处理结构为了响应接收到的回答，执行一个引起所述处理结构为该接收到的回答创建语法树的评估方法，比较该回答的语法树和答案的语法树，并根据比较结果为回答评分。

又从另一方面，本发明提供了一台包括处理设备的装置；以及存储计算机程序代码的存储器。该处理设备与存储器通信并执行计算机程序代码，使该装置响应所接收到的基于方程的问题的回答，为该回答创建语法树，比较该回答的语法树和答案的语法树，并根据比较结果为回答评分。

仍然又从另一方面，本发明提供了一种包含计算机程序代码的非瞬时性计算机可读介质，当代码执行时将使处理设备响应所接收到的基于方程的问题的回答，为该回答创建语法树，比较该回答的语法树和答案的语法树，并根据比较结果为回答评分。

附图说明

现在将通过参考附图更全面地介绍实施例，其中：

图1是参与者响应系统的示意图；

图2是图1所示参与者响应系统的另一示意图；

图3是构成图1所示参与者响应系统一部分的交互式白板透视图；

图4A和4B分别是构成图1所示参与者响应系统一部分的收发器的侧视图和俯视图；

图5是图4A和4B所示收发器的框图；

图6A是图1所示参与者响应系统呈现的问题类型选择窗口；

图6B是图1所示参与者响应系统呈现的问题输入窗口；

图6C是图1所示参与者响应系统呈现的答案输入窗口；

图7是基于方程的问题的可能答案列表的示例；

图8是图1所示参与者响应系统呈现的参与者输入窗口；

图9是一副流程图，显示图1所示参与者响应系统采用的输入响应过程的步骤；

图10是一副流程图，显示图1所示参与者响应系统采用的响应分析过程的步骤；

图11是一副流程图，显示图1所示参与者响应系统采用的形式对等算法的步骤；

图12A至12J是图1所示参与者响应系统采用的响应比较过程的示意图；

图13是一副流程图，显示图1所示参与者响应系统采用的顺序等价算法的步骤；

图14是一副流程图，显示图1所示参与者响应系统采用的内容等价算法的步骤；

图15A和15B分别显示了图1所示参与者响应系统呈现的参与者输入和参与者输入确认窗口；以及

图16是图1所示参与者响应系统采用的另一种响应设备的平面图。

实施例详细描述

现在回到图1和2，图示为一个参与者响应系统并一般以引用编码50表示。在该实施例中，参与者响应系统50用于诸如学校、大学、学院之类的教育机构的一间教室、演讲厅或剧院中。如图所示，参与者响应系统50包括一台基础计算机或主机52，一块通过电缆56物理地连接到主机52的交互式白板（IWB）54，一台通过通用串行总线（USB）60物理地连接到主机52的射频（RF）收发器58，以及多台通过收发器58与主机52通信的无线响应设备62。

在该实施例中，主机52为台式电脑，但也可采用笔记本电脑或平板电脑、个人数字助理（PDA）或其他手持设备，或任何其他合适的计算设备。主机52用唯一的ID进行标识，可以是该计算机的媒体访问控制（MAC）地址或其网址。在该实施例中，响应设备62为笔记本电脑，但也可采用台式电脑、平板电脑、PDA、手持计算设备，例如iPhones、iPads等便携式媒体设备，专用响应单元和/或其他拥有一个或多个控制/处理单元、存储器、有线或无线通信接口和诸如键盘或触摸屏之类输入接口的响应设备。每个响应设备62都有唯一的ID。

该实施例中的参与者响应系统的固件是在IEEE802.11b/g/n MAC协议层软件顶端上实现的，该软件由美国德克萨斯州的TexasInstruments Incorporated(TI)（德州仪器公司）或其他合适的技术供应商提供。TI MAC协议层软件包括一个小型实时核心协议栈，其提供简单的实时操作系统功能，例如：定时器管理、任务管理和中断管理。使用抽象层隔离操作系统和硬件驱动设备，以便于移植到不同的操作系统和硬件平台。

在该实施例中，IWB54是由该主题应用受让人加拿大阿尔伯塔省Calgary的SMART Technologies ULC公司制造的600i系列交互式白板。如图3清晰显示，IWB54包括一块大型模拟电阻式触摸屏70，该触摸屏带有被边框74围绕的触摸表面72。在边框74靠近触摸表面72的底边处附有工具盘76，其中容纳一个或多个用于与该触摸表面交互的工具。触摸屏70通过安装支架78安装在墙面上。一支动臂总成80也通过安装支架78安装在触摸屏70上方的墙面上。动臂总成80包括扬声器外壳82，其内有一对扬声器（图中未显示），一支大致水平的吊杆84从扬声器外壳82向外延伸，且靠近吊杆84的末端有一个投影仪86。投影仪86对着一面被吊杆84支撑的镜子（图中未显示），该镜子将投影仪的图像反射到触摸屏70上，于是，投影仪86投射的图像被呈现在触摸表面72上。

图4A、4B和5更好地说明了收发器58。如图所示，收发器58包括一个适合安装在桌面或墙面的外壳100。外壳100的前端安装有一个L型全向天线102。外壳100的后端通过连接器104连接到USB电缆60。外壳100的上表面有几个发光二极管（LED）106，通过LED的发光可以提供与收发器58的操作状态有关的反馈。在该实施例中，LED106包括电源状态LED和通信状态LED。收发器58也可以通过液晶显示器（LCD）或LED和LCD一起提供显示视觉反馈。收发器的电子元件容纳在外壳100内，并包括一只与非易失性随机访问内存（NVRAM）112通信的微处理器110，一个LED驱动器114和一个USB-UART桥116。通过USB电缆连接向收发器58供电。根据设计需要，商用无线收发器例如无线路由器也可作为收发器58。

主机52运行SMART Technologies ULC公司提供的SMARTNotebookTM白板软件，其提供图形用户界面并促进与IWB54的交互。其导致主机52的显示结果被传输到IWB54，且被投影仪86用于在触摸表面72上呈现图像。触摸屏70检测指示器与触摸表面72的交互活动并传输到主机52。主机52随之按需要调整自己的显示输出以反映该指示器活动。取决于该指示器活动的特点，主机52可能将该指示器触点信号视为书写符号或擦除信号，或将该指示器触点信号作为鼠标事件并使用该鼠标事件控制主机52上应用程序的执行。

主机52还运行SMART Technologies ULC公司提供的SMARTResponse^TM CE教师软件。SMART Response^TM CE教师软件主要提供给一组参与者的主持人使用，以创建丰富的多媒体评估。在该实施例中，主持人是一名教师而参与者组是一个班的学生，但可以理解，其他主持人和参与者场景也是可能的。在该实施例中，该评估比较一个或多个基于方程的问题，每个问题分别有基于方程的答案。问题和答案都以标准可解的格式，比如MathML或其他本领域熟知的格式存储。该问题和答案信息都作为可扩展标记语言（XML）信息被加入可被计算机读取的SMART Notebook^TM文件中，并且与所有问题一起作为大型评估的一部分或作为单独的问题被存储。SMART Response^TM CE教师软件使主机52的评估通过USB电缆60提供给收发器58，以分发到响应设备62。

在该实施例中，响应设备62运行SMART Technologies ULC公司提供的SMART Response^TM CE学生软件，其提供了呈现评估的图形用户界面。如图2所示的实施例中，主机52、IWB54和收发器58通过电缆56和60物理连接在一起。在主机52、IWB54和收发器58之间通过HTTP采用可扩展标记语言（XML）交换结构化的消息。收发器58和响应设备62通过无线射频（RF）通信网络通信。收发器58的微处理器110因此提供一个USB接口和一个RF接口，并运行一个服务，将USB协议下的消息转换为无线射频（RF）协议的，反之亦然。该微处理器还运行IEEE802.15.4MAC层软件以管理IEEE802.15.4网络，从而允许主机52和响应设备62通信。在主机52和收发器58之间交换的消息包括一个消息头、一个命令标识符、消息字节数和校验和。采用一致的头字节填充，以划分数据包的帧，从而有助于确定命令包的起止。因为IEEE802.15.4协议用于处理包地址并确定包的完整性，因此在收发器58和响应设备62之间交换的消息不包括头和校验和。

现在转到图6A至6C，窗口构成了SMART Notebook^TM软件和SMART Response^TM CE教师软件用户接口的一部分，并呈现在参与者响应系统50中。图6A显示了一个问题类型选择窗口702，其包括多个按钮704，选择每个按钮都可用于为评估中的问题指定一个类型。例如，选择按钮706将指定该问题为“数字、分数、表达式”类型。问题类型选择窗口702还包括按钮708，选择后可执行“下一个”、“取消”、和“帮助”功能。选择704按钮之一并选择“下一个”按钮将使如图6B所示的问题输入窗口710出现。问题输入窗口710包括一个问题描述文本框712，可以在其中输入文字形式的问题描述，比如用键盘输入。问题输入窗口710还包括一个问题输入框716，可以使用键盘和符号按钮714在其中输入问题的方程部分。符号按钮714包括各种符号，例如希腊文字符、分数、数学操作符和下标/上标。问题输入窗口710还进一步包括标签输入框718，可以在其中输入简述或标签（例如：“因子”）用于帮助检索被保存的问题。问题输入窗口710还进一步包括一套函数按钮，其包括“下一个”按钮720、“帮助”按钮724、“取消”按钮726和“返回”按钮728，每个按钮都可被选择以执行其相关的操作，正如本领域普通的技术人员理解的那样。在任何文本框712中输入内容并且在框716中输入方程即可进行一个问题的输入，然后选择“下一个”按钮720后出现如图6C所示的答案窗口722。

答案窗口722包括答案文本框724，可以使用键盘和符号按钮714在此输入答案。答案窗口722还包括一套定级按钮726，选择后可以指定用于评估定级的方法。在该实施例中，可以使用定级按钮726从顺序等价定级方法、形式对等定级方法和内容等价定级方法中选择其中之一。下面将进一步讨论这些不同的定级方法。答案窗口722还包括得分文本框728，可用于输入分值或回答该问题授予的分数。答案窗口722还包括解释文本框730，可用于输入在回答该问题时显示的额外信息。例如，这种额外信息可能包括为了正确回答该问题所需步骤的解释。答案窗口722还进一步包括一套功能按钮，包括“完成”按钮736、“帮助”按钮740、“取消”按钮738和“返回”按钮734，每个按钮都可被选择以执行其相关的功能，正如本领域普通的技术人员理解的那样。在答案文本框724中输入答案并选择完成按钮736，使该答案被转换为LaTeX答案表达式，其用于在后面将描述的定级过程。可以在一个SMART Notebook^TM页输入多个问题，或者可以一页仅输入一个问题。

图7显示了一个基于方程的问题的多个可能的答案，并相应地阐述了参与者响应系统50使用的不同定级方法。在该图所示的实施例中，使用问题类型输入窗口702、问题内容窗口710和答案内容窗口722输入了问题802和它的答案804。表806列举了问题802的几个运用顺序等价定级方法判定为正确的回答。顺序等价定级方法要求回答的项和顺序与答案804相同，但是多余的括号、空格和操作符的等价表示方法，例如使用*、x和用x表示乘法，也都被考虑到，以决定该回答是否正确。例如在所示例子中，顺序等价定级方法判定回答-3+2x+x²是错的，因为该回答的项没有以合适的顺序表达。

表808列举了问题802的几个使用形式对等定级方法判断为正确的回答的例子。形式对等定级方法要求回答的项/操作数和可比较的操作符的数量与答案804的一样，但项的顺序可以为任意的。再次重申，多余的括号、空格和操作符号都会被用于判断该回答是否正确。如图所示，x x x+x+x-3将被形式对等定级方法判断为错误，因为项的数量（四（4）个）与答案804中项的数量（三（3）个）不一样，并且等价于x²的项没有减少。

表810列举了问题802的几个使用内容等价定级方法判定为正确的回答的例子。内容等价定级方法要求回答和答案描述相同的数学实体，但回答和答案可以以不同的顺序包含不同的项/操作数和/或不同的操作符。因此，内容等价定级方法比顺序等价定级方法和形式对等定级方法复杂。需要注意，当使用形式对等和顺序等价定级方法时，如果回答与问题相同，那么会被判定为错误。反之，当使用内容等价定级方法时，在某些情况下，回答与问题相同会被判定为正确。

图8显示了一个呈现在响应设备62上的参与者响应窗口902。在该实施例中，参与者响应窗口902为一个被SMART Response^TM CE学生软件呈现的SMART Notebook^TM页面。参与者响应窗口902包括一个显示框904，用于显示待由参与者回答的问题并由数学排版方程判决器进行判决。参与者响应窗口902还包括位于回答内容文本框908中的用于输入回答的回答内容字段906。

图9是参与者响应系统50使用的响应输入过程的流程图。虚线1000作为分隔由响应设备62和主机52执行功能的分割线。当进入响应设备62的响应准备提交到主机时（步骤1002），所输入的响应将从ASCII码转换为LaTeX响应字符串（步骤1004）。随后使用符号字典将该LaTeX响应字符串编码为数字数据（步骤1006）并压缩，然后通过收发器58传送到主机52。例如，在该编码过程中，LaTeX字符串“\frac”将被替换为“200”并且LaTeX字符串“{”将被替换为“201”。经过编码并压缩的LaTeX响应字符串接着被响应设备62通过收发器58传送到主机52（步骤1008）。在该实施例中，该响应字符串包含对一个或多个问题的一个或多个回答的响应，其显示在一个或多个SMART NotebookTM评估页面上。主机52接收到经过编码并压缩的LaTeX响应字符串后，使用个人电脑符号字典和LaTeX解码器将该响应字符串解压并解码为LaTeX响应表达式（步骤1010）。例如，在该解码过程中，“200”将被替换为“\frac”并且“201”将被替换为“{”。该解码后的LaTeX响应表达式随后由一个得到美国德克萨斯州Round Rock的xThink,Inc公司授权的xThink引擎处理，用于解释和定级（步骤1012）。本领域专业技术人员将会理解，只要响应设备62上的编码符号字典和主机52上的解码符号字典相同，那么该LaTeX到数字值的映射就是任意的。

图10是参与者响应系统50使用的响应分析过程步骤的流程图。当xThink引擎接收到一个LaTeX响应表达式时（步骤1102），该xThink引擎确定已经为定级该响应表达式选定了定级方法（步骤1104）。随后，该xThink引擎相应地采用顺序等价定级算法（步骤1106）、或者形式对等定级算法（步骤1108）、或者内容等价定级算法（步骤1110）为该LaTeX响应表达式定级。

图11是引用编号为1106的形式对等定级算法执行步骤的流程图。形式对等定级算法1106确定LaTeX响应表达式和答案表达式是否含有相同的项（操作数）和操作符（例如：是“形式上对等的”）。特别是在执行过程中，形式对等定级算法是从为LaTeX响应表达式和答案表达创建共同的语法树开始的（步骤1204）。LaTeX响应表达式和答案表达通常按照运算顺序分别被放入基于操作符和操作数的树形层次中分析，第一个被执行的运算位于语法树的底部，最后一个被执行的运算位于语法树的顶部。接下来，该语法树被规范化为标准形式，其中，普通操作符被简化为相对于传统的二元操作符而言单一的n元操作符（步骤1206）。例如：方程x+y-1将被简化为一个+操作符和拥有x、y、和-1的三操作数语法树。相似的项被分组并按照字母顺序（a到z）排列，其后是降序排列的数字值（例如：2排在1前），复杂的项在前，简单的项在后。例如，项x²早于项x被输入语法树。

接下来评估该规范化的语法树是否数学上有效（步骤1208）。例如，由于表达式“)x+”未正确使用括号，并且其操作符只有一个操作数，因此不是正确的语法树。如果该响应语法树被判定为数学上无效，那么该响应被定级为错误（步骤1210）。在步骤1208，如果该语法树是数学上有效的，那么接着将评估该响应表达式，确定其是否匹配该问题的方程（步骤1212）。如果该响应表达式匹配该问题的方程，那么该响应被定级为错误（步骤1210）。在该实施例中，当一个响应被定级为错误，那么得分为零。

执行步骤1212之后，比较该答案语法树和响应语法树（步骤1214）。从两棵语法树中选择相同的初始节点，然后遍历各语法树。正如本领域普通的技术人员理解的那样，该步骤与“深度优先”搜索过程相同。对语法树上的每个节点执行答案语法树和响应语法树的比较。图12A至12H阐述了该遍历和比较过程。图12A显示了分别为答案表达式1502a和响应表达式1504a产生的答案语法树1502和响应语法树1504。在图12B中，语法树1502和1504的根节点分别为1502b和1504b，比较它们以确定是否相同。在图12C中，经过比较确定答案语法树和响应语法树的乘法操作符相同，如哈希表示的那样。接着比较除法和乘法的操作数。由于在语法树1502和1504上它们不同，并且在语法树的这一层上它们是额外的节点，于是对语法树上该层的下一节点进行比较。此时，分别位于语法树1502和1504上的两个除法操作数1514和1516，经过比较后确定相同，如图12D所示。然后比较除法操作数1514和1516下面的节点，并确定其相同，如图12E所示。将答案语法树1502的下一个正节点1522与响应语法树1504先前跳过的正节点1524进行比较的过程如图12F所示。因为这些操作符都相等，形式对等定级算法分别比较正节点1522和1524的子节点1526和1528，如图12G所示。因为这些子节点不匹配，因此确定正节点1522和1524不相同。将响应语法树1504的下一个节点即正节点1532与正节点1522相比较，如图12H所示。因为这些节点相同，因此比较语法树1502和1504的最后分支，如图12I所示。接下来比较语法树这一层剩下的节点1534和1536。由于节点1534和1536及其所有子节点被形式对等定级算法确定为相同，因此确定语法树1502和1504相匹配，因为它们所含节点相同，如图12J所示。

回到图11，形式对等定级算法执行一个确认步骤以确定比较结果是否能够表明该答案语法树和响应语法树包含相同节点并因此匹配（步骤1216）。如果语法树匹配，那么该回答被定级为正确（步骤1218），并且该回答的分数被加入该参与者的成绩中。如果语法树不匹配，那么该参与者的回答被定级为错误（步骤1210），该回答没有分数可以增加到参与者成绩中。也可以在参与者成绩中加上部分分数，这取决于响应语法树中有多少节点存在于答案语法树中。

图13是以引用编码1108表示的顺序等价定级算法执行步骤的流程图。顺序等价算法1108以从LaTex响应表达式语法树和答案表达式（步骤1304）创建逻辑语法树开始。该LaTex响应和答案表达式通常按照运算顺序分别被放入基于操作符和操作数的树形层次中分析，第一个被执行的运算位于语法树的底部，最后一个被执行的运算位于语法树的顶部。接下来，该语法树被规范化为标准形式，其中，普通操作符被简化为相对于传统的二元操作符而言单一的n元操作符（步骤1306）。

接下来评估该规范化的语法树是否数学上有效（步骤1308）。如果响应的语法树被判定为数学上无效，那么该响应被定级为错误（步骤1310）。如果该语法树是数学上有效的，那么接着将评估该响应表达式，确定其是否匹配该问题的方程（步骤1312）。如果该响应表达式匹配该问题的方程，那么该响应被定级为错误（1310）。在该实施例中，当响应被定级为错误，那么得分为零。

执行步骤1312之后，采用和上述形式对等定级算法相同的方式比较答案语法树和响应语法树（步骤1314）。如果确定这两棵语法树包含相同的项和操作符，那么认为该答案表达式和响应表达式至少是“形式上对等”，即答案和响应语法树含有相同节点。接着直接对答案和响应表达式执行文字比较，以确定生成器的顺序（步骤1316）。在此步骤中不考虑括号和空白，但要考虑同一操作符的不同表达方法。例如，“/”和“÷”将被视为相同的除法操作符，并且“*”和“x”也被视为相同的乘法操作符。直接比较文字之后执行确认步骤，以确定该答案和响应表达式是否相同（步骤1318）。如果相同，那么该回答被定级为正确（步骤1320），并且该回答的分数被加入该参与者的成绩中。如果答案和响应表达式不同，那么该回答被定级为错误，该回答的分数为零（步骤1310）。

图14是以引用编码1110表示的内容等价定级算法执行步骤的流程图。内容等价算法以从LaTex响应表达式语法树和答案表达式（步骤1404）创建逻辑语法树开始。该LaTex响应和答案表达式通常按照运算顺序分别被放入基于操作符和操作数的树形层次中分析，第一个被执行的运算位于语法树的底部，最后一个被执行的运算位于语法树的顶部。接下来，该语法树被规范化为标准形式，其中，普通操作符被简化为相对于传统的二元操作符而言单一的n元操作符（步骤1406）。

接下来评估该规范化的语法树是否数学上有效（步骤1408）。如果响应的语法树被判定为数学上无效，那么该响应被定级为错误（步骤1410）。如果该语法树是数学上有效的，那么接着将评估该响应表达式，确定其是否匹配该问题的方程（步骤1412）。如果该响应表达式匹配该问题的方程，那么该响应被定级为正确（步骤1416）并且该回答的分数被加入该参与者的成绩中。

执行步骤1412之后，如果该响应表达式与该问题不匹配，那么采用和上述形式对等定级算法相同的方式比较答案语法树和响应语法树（步骤1414）。如果这些语法树匹配，那么该响应语法树被定级为正确（步骤1416）并且该回答的分数被加入该参与者的成绩中。如果这些语法树不匹配，那么有必要判定该响应表达式和答案表达式是否包含相同的答案集。在该实施例中，使用由美国德克萨斯州NationalInstruments of Austin公司提供的Lab View数学算法解决该响应和答案表达式的匹配问题。该响应和答案表达式中的变量被识别出并且为每个变量生成一套随机值（步骤1418）。独立地处理每个变量。该响应表达式和答案表达式中的每个变量都使用这些相同的随机值评估（步骤1420），并比较该评估结果（步骤1422）。如果这些结果在所有这些随机变量的可容忍公差范围内，那么该响应被定级为正确（步骤1416），并且该回答的分数被加入该参与者的成绩中。如果这些结果不在可容忍公差范围内，那么该响应被定级为错误（步骤1410），该回答的分数为零。如果在生成随机变量的过程中，一个随机变量引发错误，例如以零作为被除数，那么该随机变量被丢弃并且选择一个新值作为该变量值。

值得欣慰的是，如果答案语法树被判定为数学上无效，那么可能显示一条提示信息，通知主持人输入另一个替代答案。

图15A显示了另一个引用编号为1600，呈现在参与者响应系统50上的参与者输入窗口的实施例。参与者输入窗口1600为由SMARTResponse^TM CE学生软件呈现的SMART Notebook^TM页面，其目的是用于在拥有手写输入功能的响应设备上起显示作用。与上述图8所示的参与者输入窗口902类似，参与者输入窗口1600包括用于显示待参与者回答问题的SMART Notebook^TM页面1602。参与者输入窗口1600还包括注释框1604，其中定义了可以输入手写响应1608的字段。参与者输入窗口1600进一步包括一个“识别”按钮1606，当在注释框1604中输入手写响应时可选择该按钮。选择“识别”按钮1606使该响应设备执行手写识别算法，其分析该手写响应并转换为文本字符串。选择“识别”按钮1606还导致在该响应设备上显示参与者输入确认窗口1700，如图15B所示。该SMART Response^TM CE学生软件也可能等待一段时间后自动识别该手写响应，转换为文本字符串，并显示该参与者输入确认窗口1700。

参与者输入确认窗口1700包括显示转换后文本的显示框1704，其中显示由该参与者确认的被转换后的手写响应。因为不一定能准确识别手写输入，参与者输入确认窗口1700提供了“更改回答”按钮1702，如果该参与者对转换后的手写响应不满意，可以选择该按钮。选择“更改回答”按钮1702导致出现响应编辑子窗口1706，其包括一套可用于编辑该转换后响应的符号按钮1708。参与者输入确认窗口1700进一步包括“提交”按钮（未显示）。选择“提交”按钮将执行上述图9所示的响应输入过程。在该实施例中，参与者可以在注释框1604中输入将被自动定级的手写响应。可以在注释框1604外输入额外的注释，例如用于达到最终响应的中间步骤。在该实施例中，该额外的注释没有被自动定级，但可能被保存在网络设备或本地的响应设备上，供主持人以后审核。该最终响应通过上述图9至14的方法被定级。主持人可能根据中间工作调整自动评分结果。

虽然在上述实施例中的评估问题由各自的响应设备显示，但在其他实施例中，这些问题可能根据响应设备的显示能力不同而采用其他显示方式。例如，也可打印出该问题并交给一个或多个参与者，或者也可以在诸如IWB54之类的普通显示器上显示。例如，在上述实施例中，运行SMART Response^TM CE学生软件的响应设备62一般都有能力处理功能丰富的内容。但是，在另一个实施例中，也可使用没有能力处理这种功能丰富的内容的响应设备。例如，图16所示的另一个实施例中，引用编号为602、用于参与者响应系统50的响应设备。响应设备602是SMART Response^TM XE设备。响应设备602包括简单的LCD显示器604、一套软键按钮606和用于输入文本和常用符号的键盘608。由于没有丰富的显示功能，基于方程的问题不会在响应设备602中显示，参与者使用响应设备602，并依靠IWB54显示参与评估的问题。但是，响应设备602可用于显示问题编号并允许输入文本形式的响应。

由于响应设备602普遍简单，因此在其无法传输LaTeX的所有函数时，可能需要使用主机52在解码过程中补充接收到的响应表达式丢失的任何部分。例如，sine函数被响应设备602作为“sin”传输，主机52在解码过程中使用LaTeX的“\sin”将其替换。

虽然在上述实施例中，该参与者响应系统使用的响应设备能否识别手写输入都可以，但在另一些实施例中，该参与者响应系统可采用多种不同的响应设备，其中一些具备识别手写输入的能力而另一些也许不能。不难理解，这种可使用多种设备的系统非常适用于由具备不同能力或残疾参与者构成的参与者组群。在一个相关的实施例中，该参与者响应系统可能被配置为可以检测每个响应设备的能力，并据此呈现相应的参与者响应输入模式，或者该参与者输入系统可能允许参与者自行选择喜欢的参与者响应输入模式。

虽然在上述实施例中参与者响应系统采用LaTeX作为标记语言，但在其他实施例中，也可使用其他标记语言，例如：HTML、MathML、MatLab代码，或采用其他合适的专用语言。

虽然所述答案语法树与响应语法树是同时创建的，但在创建响应语法树之前，例如在主持人输入答案时创建答案语法树更好。

虽然上述实施例中响应设备与主机通过无线连接通信，但在一些其他实施例中，该响应设备也可通过有线连接与主机通信。在相关的一些实施例中，一个或多个响应设备可能位于远程站点并通过互联网或其他网络配置例如局域网（LAN）或广域网（WAN）与主机通信。

在一些实施例中，主机可能通过无线或有线方式与一台或多台服务器相连，也可能通过无线方式与IWB和/或收发器相连。

在一些实施例中，根据问题使用的定级方法类型，每位参与者的分数可能被自动调整。

本领域普通的技术人员将很容易理解，可以交替使用上述在响应和xThink引擎之间通信的不同通信和编码协议。类似地，本领域普通的技术人员将很容易理解，可以交替使用上述用于产生语法树的分析算法。

虽然在上述实施例中，评估问题主要包括数学方程，但在其他一些实施例中，这些问题也可包括其他领域的方程，例如化学、物理、生物、微积分和工程，但不仅限于这些领域。

虽然在上述的实施例中，采用类似“深度优先”的搜索方法，从答案语法树和响应语法树中选出相同的初始节点并遍历每棵语法树从而比较每个节点，但在其他一些实施例中，也可使用“广度优先”搜索方法。正如本领域普通技术人员理解的那样，用于比较两棵语法树上所有节点的搜索方法是无关紧要的。

在上述实施例中，使用提交按钮对将经过编码并压缩的LaTeX响应字符串传输到主机52的过程进行初始化。可以理解，可以在回答完所有评估问题后并因此到达评估的最后一页时，或者当每个问题或一个问题子集已被回答时使用该提交按钮。如有必要，可以将参与者的注释传输到主机进行识别并定级。也可以在响应设备上执行自动定级。

虽然使用的示例为一些相对简单的方程，但也可以使用更加复杂的方程，正如本领域普通技术人员理解的那样。

虽然在上述的一些实施例带有参考图，但本领域专业技术人员应该能够理解，在不违背所附权利要求中定义的精神和范围的前提下可能会有一些变化和修改。

Claims

1.一种计算机化评估定级方法，其包括以下步骤：

为一已接收的基于方程的响应创建语法树，所述响应对应至少一个评估问题；为至少一解答创建语法树，所述解答对应至少一个问题；

对所述语法树进行比较；

以及根据比较结果对所述响应进行定级。

2.根据权利要求1所述的方法，其特征在于根据一套选择的定级方法体系实施所述的定级方法。

3.根据权利要求2所述的方法，其中所选择的定级方法体系是从多种不同的定级方法体系中选出的。

4.根据权利要求3所述的方法，其中该多种不同的定级方法体系至少包括一顺序等价定级方法，一内容等价定级方法，以及一形式对等定级方法。

5.根据权利要求1至4中任一权利要求所述的方法，其中所述的创建步骤包括将所述响应和至少一解答解析为操作符和操作数的树状分层结构，从而形成所述语法树。

6.根据权利要求5所述的方法，其中所述创建步骤进一步包括对所述语法树进行正则化。

7.根据权利要求6所述的方法，其中在所述正则化过程中，所述语法树被正则为范式，这里公共操作符被简化为单一的N元操作符。

8.根据权利要求5至7中任一权利要求所述的方法，其中一般根据操作的次序建立所述操作符和操作数的树状分层结构。

9.根据权利要求8所述的方法，其中最先执行的操作放置于所述语法树的底部，而最后执行的操作放置于所述语法树的顶部。

10.根据权利要求1所述的方法，其中所述比较步骤包括确定所述语法树节点之间的相似性。

11.根据权利要求1所述的方法，其中所述比较步骤包括确定所述语法树是否包括相同节点。

12.根据权利要求11所述的方法，其中当所述语法树包括相同的节点时，所述定级包括在所述响应正确时对该响应进行定级。

13.根据权利要求11所述的方法，其中所述比较步骤进一步包括：当所述语法树包括相同的节点时，确定操作符顺序等价性是否存在。

14.根据权利要求13所述的方法，其中当所述语法树包括相同的节点且操作符顺序等价性得到确定时，所述定级包括在所述响应正确时对该响应进行定级。

15.根据权利要求11或12中所述的方法，其中所述比较步骤进一步包括：当所述语法树不包括相同节点时，确定所述响应和至少一解答是否包括相同的解集。

16.根据权利要求15所述的方法，其中当所述响应和至少一解答包括相同的解集时，所述定级包括在所述响应正确时对该响应进行定级。

17.根据权利要求10所述的方法，其中所述定级包括根据所述语法树节点匹配的程度给予分数。

18.根据权利要求10至17中任一权利要求所述的方法，其中所述创建步骤包括将所述响应和至少一解答解析为操作符和操作数树状分层结构，从而形成所述语法树。

19.根据权利要求18所述的方法，其中所述创建步骤进一步包括对所述语法树正则化。

20.根据权利要求19所述的方法，其中在所述正则化过程中，所述语法树被正则为范式，这里公共操作符被简化为单一的N元操作符。

21.根据权利要求18至20中任一权利要求所述的方法，其中一般根据操作的次序建立所述操作符和操作数的树状分层结构。

22.根据权利要求21所述的方法，其中最先执行的操作放置于所述语法树的底部，而最后执行的操作放置于所述语法树的顶部。

23.根据权利要求1至22中任一权利要求所述的方法，其进一步包括：在进行所述的比较之前，确定所述响应语法树是否有效；且当所述响应语法树无效时，绕过所述比较且在所述响应不正确时对该响应进行定级。

24.根据权利要求1至23中任一权利要求所述的方法，其进一步包括：在进行所述的创建步骤之前，从一或多台响应装置处接收基于方程的响应。

25.一种计算机化评估定级方法，其包括：

当接收到基于方程的响应时，根据该响应创建一操作符和操作数的分层结构；

将一操作符和操作数的解答分层结构和所述操作符和操作数的响应分层结构进行比较；

以及根据比较结果对所述响应定级。

26.根据权利要求25所述的方法，其特征在于根据一套选择的定级方法体系实施所述定级方法。

27.根据权利要求26所述的方法，其中所选择的定级方法体系是从多种不同的定级方法体系中选出的。

28.根据权利要求27所述的方法，其中所述多种不同的定级方法体系至少包括一顺序等价定级方法，一内容等价定级方法，以及一形式对等定级方法。

29.根据权利要求25至28中任一权利要求所述的方法，其中一般根据操作次序形成所述操作符和操作数的响应和解答分层结构。

30.根据权利要求25所述的方法，其中所述比较步骤确定所述操作符和操作数的分层结构是否匹配。

31.根据权利要求30所述的方法，其中所述比较步骤进一步包括：当所述操作符和操作数的分层结构匹配时，确定操作符顺序等价性是否存在。

32.根据权利要求30所述的方法，其中所述比较步骤进一步包括：当所述操作符和操作数的分层结构不匹配时，确定所述响应和解答是否包括相同解集。

33.根据权利要求25至32中任一权利要求所述的方法，其进一步包括：在进行所述的比较之前，确定所述操作符和操作数的响应分层结构是否有效；且当所述操作符和操作数的响应分层结构无效时，绕过所述比较且在所述响应不正确时对该响应进行定级。

34.根据权利要求25至33中任一权利要求所述的方法，其进一步包括：在进行所述创建步骤之前，从一或多台响应装置处接收基于方程的响应。

35.一种参与者响应系统，其包括：

至少一响应装置，每台响应装置具有一输入界面，该界面允许用户对问题输入基于方程的响应；

以及一处理结构，该处理结构与每台响应设备进行通信；在对所接收的响应作出响应时，该处理结构执行一定级方法；该方法使所述处理结构为所接收响应创建语法树，将该响应语法树与解答语法树相比较，并根据比较结果对响应定级。

36.根据权利要求35所述的参与者响应系统，其特征在于根据一套选择的定级方法体系实施所述定级方法。

37.根据权利要求36所述的参与者响应系统，其中所选定级方法体系至少为顺序等价定级方法，内容等价定级方法，以及形式对等定级方法中之一。

38.一种参与者响应系统，其包括：

以及一处理结构，该处理结构与每台响应设备进行通信；在对所接收的响应作出响应时，该处理结构执行权利要求1至23，或25至33中任一权利要求所述的方法。

39.一种器械，其包括：

一处理装置；

以及存储计算机程序代码的一存储器，所述处理装置与所述存储器通信，并执行所述计算机程序代码；所述代码的执行使得所述器械在对已接收的、基于方程的、且对评估问题的响应作出响应时，为所接收的响应创建语法树，将所述响应语法树与解答语法树相比较，且根据比较结果对所述响应定级。

40.一种计算机可读的非瞬时性介质，该介质存有计算机程序代码；当执行该代码时，使得一处理装置在对已接收的、基于方程的、且对评估问题的响应作出响应期间，为所接收的响应创建语法树，将所述响应语法树与解答语法树相比较，且根据比较结果对所述响应定级。