CN1947340B

CN1947340B - 用于对个体的表现进行评级的系统和方法

Info

Publication number: CN1947340B
Application number: CN2005800123123A
Authority: CN
Inventors: 大卫·阿舍·贾法
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-03-10
Filing date: 2005-01-31
Publication date: 2010-09-08
Anticipated expiration: 2025-01-31
Also published as: ES2322710T3; EP1730727B1; HK1098595A1; KR101143842B1; ZA200607986B; CN1947340A; US7436347B2; GB0405420D0; EP1730727A2; ATE426224T1; DE602005013370D1; GB2398191B; PL1730727T3; KR20070001221A; CA2559101C; WO2005086135A2; WO2005086135A3; AU2005218875B2; US20070279273A1; AU2005218875A1

Abstract

提供了用于对个体的表现进行评级的系统和方法。所述系统包括：用于接收用于表示个体的表现的信息的输入、存储器以及处理装置。所述系统还包括：用于记录通过在统计上显著的时段内由所述输入接收的信息来表示的实际表现的装置。所述存储器存储个体的等级的期望输出分布的表示；所述处理装置根据所记录的实际表现来设定等级边界，使得输出等级分布趋于与所述表示的期望分布相匹配。

Description

用于对个体的表现进行评级的系统和方法

技术领域

本发明涉及用于对个体的表现进行评级的系统和方法。

背景技术

一般而言，量化器是公知的。量化器接收输入信号并产生输出信号，该输出信号指示了该输入信号落入幅度范围集中的哪一幅度范围中。简单量化器的一种典型应用是模数转换器，其中：范围的大小或者“量化步幅”是通过输出数字信号的精度和可接受的输入信号范围来设定。然而，量化步幅不必都是相同的大小。举例而言，通过使针对大输入信号的量化步幅小于针对小输入信号的量化步幅，模数转换器可用作语音压缩器。

本发明的发明人意识到对如下量化器的需求，即该量化器可基于期望输出信号的统计模型来使其量化步幅的大小自适应。这能够对不想要的系统增益变化和非线性进行补偿。

发明内容

根据本发明，提供了一种自适应量化器，该自适应量化器包括：

输入；

用于存储关于期望输入信号的所述量化器输出的分布表示的装置；

用于记录在统计上显著的时段内的实际输入信号的装置；

处理装置，用于根据所述记录的输入信号来设定量化步幅，使得所述量化器输出分布趋于与所述表示的分布相匹配。

根据本发明，还提供了一种用于对个体表现进行评级的系统，所述个体的表现例如是测试得分或雇员审查得分，所述系统包括：

输入，用于接收用于表示个体的表现的信息；

存储器，用于存储个体等级的期望输出分布的表示；

用于记录通过在统计上显著的时段内由所述输入装置接收的信息来表示的实际表现的装置；

处理装置，用于根据所记录的实际表现来设定等级边界，使得输出等级分布趋于与所述表示的期望分布相匹配。

本发明的一个实施例是一种用于对学生的学业表现进行评级的系统，该系统包括：

输入，用于接收代表学生测试得分的信息；

存储器，用于存储关于所述测试输出的学生等级的期望分布的表示；

用于记录在统计上显著的时段内的实际得分的装置，所述实际得分通过由所述输入装置接收的信息来表示；

处理装置，用于根据所述记录的实际得分来设定等级边界，使得所述输出等级分布趋于与所述表示的期望分布相匹配。

用于记录输入信号的装置可包括模数转换器装置和配置用来周期性地存储所述模数转换器的输出的存储器装置。

期望输出分布的表示可以包括关于量化器或等级的概率的数组或者关于每个量化级别或等级的百分数值。

所述处理装置可以配置用以改变所述量化步幅或等级，使得将所述记录的信号/表现/得分应用于所述改变的步幅可产生所述表示的分布。可选地，所述处理装置可以配置用以根据在所述记录的输入信号/表现/得分中的输入信号值/表现/得分的百分数以及所述量化级别或等级的百分数值来将量化步幅或等级分配给所述输入信号值。

所述输入可配置用以接收来自多个不同源的输入。来自不同源的输入被视为一个输入信号。所述输入可包括用于从http请求中提取HTML表单数据的装置。可以理解，利用GET或POST方法，测量仪可以构造http请求而且以表单数据的方式在该请求中对测量进行编码。

根据本发明的一个实施例，提供了一种用于对个体的表现进行评级的方法，所述方法包括：接收用于表示个体的表现的信息；根据等级边界对所述表现进行评级，以提供输出等级分布。所述方法还包括：在存储器中存储个体的等级的期望输出分布的表示；记录通过在统计上显著的时段内接收的所述用于表示个体的表现的信息来表示的实际表现；利用处理装置、根据所记录的实际表现来设定等级边界，从而使得所述输出等级分布趋于与所述表示的期望分布相匹配。

附图说明

现在将参考附图以示例的方式来说明本发明的各实施例。在附图中：

图1是根据本发明的语音处理器的框图；

图2是在图1的处理器中执行的量化步幅确定过程的流程图；

图3的图示出了期望输入信号的概率密度函数；

图4的图示出了实际输入信号的概率密度函数；

图5是图2所示处理的新量化步幅计算步骤的流程图；

图6示出了根据本发明用于学生的在线测试系统的主要物理部件；

图7示出了图6所示系统的数据库；

图8是示出了图6所示系统中客户端与服务器之间信令的信令图；

图9示出一个问题网页；

图10是示出了对由学生解答的问题进行标记的流程图；

图11是示出了量化器更新过程的流程图；

图12示出了图6中所示类型的更复杂系统的数据库；

图13是示出了对由学生解答的问题进行标记的流程图；以及

图14是示出了量化器更新过程的流程图。

具体实施方式

参考图1，根据本发明的语音处理器包括：线性模数转换器(ADC)1、存储器2、处理器3及可控模数转换器4。

输入模拟信号由线性ADC 1数字化，并且被周期性地写入存储器2。输入模拟信号亦馈送给可控ADC 4。初始地，可控ADC 4的量化步幅设定于默认范围。例如，可控ADC 4的量化步幅的高度可以都相同。

处理器3可将控制信号发送给可控ADC 4，以设定可控ADC的量化步幅。由处理器3通过在移动窗中对输入信号进行分析来产生量化步幅控制信号。移动窗的宽度对应于从线性ADC 1向存储器2周期性地写入输出数据的周期。

参考图2，每隔一段时间，处理器3从存储器2读取输入信号采样块(步骤s1)。

参考图3，对输入信号所期望的概率密度函数可从幅度轴以竖线分割成区域。这些线对应于线性量化器的量化步幅之间的边界。期望的输入信号采样将落入特定量化级别内的概率是由概率曲线和该级别的上限和下限处的竖线所给定的面积来给出。

处理器3利用数组(“模型数组”)来编程，该数组包含针对预定语音信号概率密度函数的量化级别概率。换句话说，该模型数组的第n元素限定了当输入信号是期望输入信号时作为第n值的可控量化器输出的理想概率，所述期望输入信号是没有所不希望的增益和非线性效应的输入信号。

再参考图2，处理器根据从存储器2读取的采样来为输入信号计算幅度概率密度函数(步骤s2)。这可通过构建直方图的表示、忽略静默(silence)并且将曲线拟合到直方图来完成。

仅仅是为了这里进行说明，输入信号的幅度概率密度函数可视为如图4中所示。与图3中所示分布相比，图4中所示分布向较小幅度偏斜。这与衰减是一致的。而且，该曲线的形状并非图3中所示曲线的线性变换，其指示了到语音处理器输入的信号路径中的某些非线性。

一旦在步骤s2中计算了输入信号的幅度概率密度函数，就确定用于可控ADC 4的新量化步幅(步骤s3)。

参考图5，确定新量化步幅的第一步骤包括：获取模型数组的下一元素，即第一元素(步骤s11)。然后，通过寻找如下幅度值来确定量化步幅上界，该幅度值使得在前一上界(在第一步骤的情况下为0)与当前步骤的上界之间输入信号的幅度概率密度函数之下的面积等于或近似于模型数组的当前所选元素(步骤s12)。以数学的方式来表示，需要给出下式的b_n值：

0 = {&Integral;}_{{A = b}_{a - 1}}^{b_{n}} f (p) dA - m (n)

或

0 \approx {&Integral;}_{{A = b}_{a - 1}}^{b_{n}} f (p) dA - m (n)

这里，f(p)是输入信号的幅度概率密度函数，A是输入信号幅度，m是模型数组，b是量化步幅边界，而n是当前量化步幅的索引。

存储新边界并且增加模型数组索引(步骤s13)。如果模型数组索引已经经过该模型数组的结尾，则该过程终止，否则该过程返回到步骤s11以便处理下一量化步幅。

再参考图2，由处理器3将新的量化步幅发送给可控ADC 4(步骤s4)，可控ADC 4根据新步幅设定其量化器。

在一个变型中，模型数组存储用于量化级别的百分数，并且通过移动可控量化器的阈值以便利用实际输入信号获得模型中的百分数来设定量化步幅。

所不需要的系统增益变化和非线性的问题也会发生在教育考试结果的评级中。如果接受测试者库足够大，则作为组的参考者的特征可视为在一时间段内是恒定的。然而，试题的难度是随时间变化的。因此，所不需要的系统增益变化和非线性可归因于试题难度的差异。

在大规模的公共考试中，在由整组进行考试者所获得的分数的分布基础上，将考试等级如A、B、C等追溯性地分配给不同分数范围。这样，存在着在延长的时间段内给单独进行“模拟”考试的学生提供评级结果的问题。当“模拟”考试是自动设定并评级时，该问题尤其明显。

而根据本发明的自适应量化器提供了对该问题的解决方案。

首先，将描述简单的实施例。该简单实施例使学生能够回答在一个学业级别的一个科目中的问题。

参考图6，在线测试系统包括通过局域网连接的Web服务器机器11和数据库机器12。客户机器13可以通过互联网14与Web服务器机器11通信。

Web服务器机器11运行利用服务器侧描述语言(如提供动态内容的PHP或ASP)的常规Web服务器程序，如Apache。在数据库机器12上运行常规的SQL数据库系统，如MySQL或微软SQL Server。

参考图7，数据库系统包括测试系统数据库21。该测试系统数据库包括多个表，该多个表包括模型表(Model Table)22和量化表(Quatisation Table)23。

模型表22依据对于每一等级上界的百分数存储有等级边界的表示，并与上述第一实施例中的模型数组对应。模型表22含有用于等级(Grade)和边界(Boundary)的栏。等级边界被存储为落入等级中或者等级以下的学生的百分比。例如，对于等级U(最低等级)，边界为5％；对于等级F，边界为10％；对于等级E，边界为20％，等等，直到对于等级A，边界为100％。

量化表23提供了一方面是学生对于特定问题的得分与另一方面是学生的等级之间的映射。量化表23包括问题ID栏、可能百分比栏、得分计数栏、得分累计计数栏、等级栏及可能得分百分数栏。

问题ID栏仅标识其它栏中的数据所涉及的问题。

一般来说，单个问题不会具有分配给它的100分。有可能的情况是，一个问题具有分配给它的4至20分。如果一个问题具有所分配的4分，则学生可得到0％、25％、50％、75％或100％的得分。同样，如果问题具有分配给它的20分，则学生可得到0％、5％、10％、15％等的得分。对于给定的问题，在量化表23中存在用于每一可能得分的行。这些可能的得分存储在可能百分比栏中。

得分计数栏含有每一问题/百分比得分组合已经出现的次数的计数。

得分累计计数栏含有针对问题ID栏中所标识的问题的得分计数栏值之和。

可能百分比栏中的可能百分比得分被映射到等级。等级由等级栏的内容来限定。

可能得分百分数栏含有：对所标识的问题进行尝试、获得该行有关得分的学生的百分数。

数据库还包括：问题表26，含有关于问题ID和主问题文本的栏；以及辅助问题表27，含有关于辅助问题所属的问题表26中的问题id的栏、文本栏和解答栏。

现在，将描述学生接受测试并接收等级的过程。

参考图8，为了发起问题解答话路，学生使其Web浏览器从客户机器13将对于问题页的http请求发送至服务器机器11。服务器机器11通过在http响应中发送所请求的页来做出响应。

参考图9，问题页通过学生的浏览器来显示，并且在当前实例中包括引言问题文本31、六个辅助问题部分32-1、......、32-6以及提交按钮34。每个辅助问题部分包括辅助问题文本和与单选按钮关联的四个解答选项。

学生阅读引言问题文本31和辅助问题文本，并选择他们认为正确的答案旁边的单选按钮。学生可以改变主意，并在这时选择其它单选按钮。当学生最终满意了他们的选择之后，学生点击提交按钮34。

点击提交按钮34使得学生的Web浏览器在对资源的请求中将所选单选按钮的标识发送给Web服务器机器11，该请求是在问题页中HTML表单的动作参数中限定的。

参考图10，当Web服务器机器11接收到问题页中HTML表单的动作参数中限定的对资源的请求时，对该请求进行处理以获得表单数据，特别是问题id和所选单选按钮的值(步骤s21)。

查询主问题表和辅助问题表26、27，以获得关于所标识问题的正确解答值(步骤s22)。将来自表单数据的值与正确值相比较(步骤s23)，并根据辅助问题的正确答案的数目来计算近似百分比得分，即0％、17％、33％、50％、66％、83％或100％(步骤s24)。

然后从量化表获取针对所计算的百分比得分和问题的等级(步骤s25)。存储学生的百分比得分(s26)，并发送新的页给学生，作为对携带表单数据的请求的响应(步骤s27)。在该实例中，学生的等级包含于响应页中。

可以理解，常规的话路管理技术可用来通过多个页呈现问题。

现在，将描述产生该映射的过程。

每隔一段时间，例如在晚上，执行量化步幅更新过程。

参考图11，量化步幅更新过程从对于正在从数据库21获取的问题的可能百分比得分开始(步骤s31)。然后，在移动窗内根据记录在数据库21的量化表23中的学生得分记录来计算关于每个这些可能得分的百分数(s32)。

对于每个可能得分百分数，从等级边界表23中获取当前得分百分数以上最接近的等级百分数(步骤s33)。然后，使用这些值来更新量化表22中的等级值(步骤s34)。

因此，分配给特定百分比得分的等级依赖于所获得的该得分的历史记录以及理想的等级百分数。

为了使自适应量化过程更易于理解，有意地使得前述实施例显得简单。现在，将描述实际中更理想的较复杂的系统。

在这一较复杂的系统中，硬件基本上如参考图6所述。但是，服务器机器11的处理更复杂。运行在服务器机器11上的Web服务器被编程用以利用来自数据库机器12的数据来提供登录页、问题页和报告页。登录成功员、话路处理以及从数据源生成网页对于Web应用设计领域的技术人员是熟知的。成员可以是学生或教师，不过只有学生会进行测试练习。

参考图12，该实施例的数据库121含有前一实施例的表的扩展版本以及一些附加表。所述表为：模型表122、量化表123、点数引用表124、问题表125、辅助问题部分126、成员表127、班级细节表128、班级表129、学校表131、类别表132以及练习表133。

成员表127包括关于成员id、成员个人细节、用于访问系统的用户id和口令、对学校表的学校引用、成员类型(如学生或教师)的栏。

班级表129包括学校引用栏和代码栏，该学校引用栏包含对学校表131的引用。班级细节表128仅提供成员表127中的成员id与班级表129中的班级代码之间的链接。

练习表133包含用于成员id、练习id和对量化表123中记录的引用的栏。

类别表132存储对成员在他们参加过的练习中的表现的记录。类别表132的栏包括ID栏、年份栏、用于与练习有关的信息的科目、标题、主题、子主题和类型栏、用于对练习表133的引用的栏、用于练习的时间和持续时间的栏、以及用于等级和点数的栏。

量化表123包括用于以下各项的栏：问题ID、学业级别、可能百分比得分、得分计数、对问题进行的尝试的计数、下等级和上等级、可能点数得分、用于可能得分的百分数和问题科目。

模型表122具有用于学业级别、课目、等级和等级边界百分数的栏。

最后，点数引用表124具有学业级别、等级和点数栏。

本领域的技术人员将容易地理解如何使用各表中存储的信息来产生用于报告成员、班级或学校的表现的网页。

当成员完成练习时，成员提交问题表单。

参考图12，当Web服务器接收表单数据时，相关程序或脚本提取成员id、所用时间、问题ID以及在对问题的解答中所做的选择(步骤s41)，其中所用时间可通过Javascript计数器来确定。

计算百分比得分(s42)。增加对量化表记录问题域进行的尝试的计数具有所提取的问题ID的(步骤s43)，其中这些问题域具有所提取的问题ID；并从量化表124中获取对于该问题ID和所计算的百分比得分之组合的记录(步骤s44)。

接下来，利用与来自问题表125的问题有关的信息，在类别表132中创建记录(步骤s45)。等级域是根据量化表记录的上等级域来设定，而点数域是根据量化表记录的可能点数得分域来设定。

最后，程序或脚本将适当的响应页发送给成员的客户机器13。

每隔一段时间，更新量化表133。具体而言，更新上和下等级以及可能点数得分栏。

参考图13，针对每一问题执行量化表更新过程(步骤s51和s57)。从类别表中获取对每一可能得分在由前三个月构成的移动窗中实现过的次数的计数(步骤s52)。根据这些计数，计算对于每一可能得分的百分数(步骤s53)。然后，这些百分数与来自模型表122的等级边界百分数相比较，以获得用于量化表123的上等级和下等级(s54)。用于问题学业级别的新上等级和下等级的点数是从点数引用表124获取的，并且加以平均以生成新的可能点数得分(步骤s55)。新的上等级和下等级以及新的可能点数得分被用来更新关于当前问题/百分比得分组合的量化表记录(步骤s56)。

因此，点数的评级和分配均在输入的历史记录和理想输出分布的基础上加以确定。

在本实施例的变型中，在第一网页中向成员提出开放式问题，并在第二页中向成员提供了打分时间表。该第二页包括复选框，该复选框使成员能够标识出在该打分表中的由该成员在他们的答案中包含的项目。当Web服务器接收到来自第二页的表单数据时，百分比得分由成员所复选的框的数目来确定。一旦确定了百分比得分，如图13所示进行评级。

可以理解，自适应量化器可应用于信号经受系统幅度噪声并且该信号可以用统计的方式来表征的多种情况中。例如，自适应量化器可用于在公司内在相对的基础上对雇员的表现进行评级。

Claims

1.一种用于对个体的表现进行评级的系统，包括：

输入，用于接收用于表示个体的表现的信息；

存储器以及处理装置，

特征在于，所述系统还包括：

用于记录通过在统计上显著的时段内由所述输入接收的信息来表示的实际表现的装置，其中：

所述存储器存储个体的等级的期望输出分布的表示；

所述处理装置根据所记录的实际表现来设定等级边界，使得输出等级分布趋于与所述表示的期望分布相匹配。

2.根据权利要求1的系统，其中所述表示包括关于每个可能等级输出的概率的数组。

3.根据权利要求1的系统，其中所述表示包括关于每个等级的百分数值。

4.根据权利要求2或3的系统，其中所述处理装置被配置用于改变所述等级边界，使得将所记录的表现应用于改变的等级边界能够产生所表示的等级分布。

5.根据权利要求2或3的系统，其中所述处理装置被配置用于根据在所记录的个体表现中的输入个体表现的百分数以及所述等级的百分数值来将等级分配给所述输入个体表现。

6.根据权利要求1-3中任一项的系统，其中所述输入被配置用于接收来自多个不同源的输入。

7.根据权利要求1-3中任一项的系统，其中所述输入包括用于从http请求中提取HTML表单数据的装置。

8.根据权利要求1-3中任一项的系统，该系统用于对学生的测验得分进行评级。

9.根据权利要求1-3中任一项的系统，包括用于向所述输入提供用于表示个体表现的信息的至少一个源。

10.根据权利要求9的系统，其中所述处理装置包括服务器和所述源，所述源包括用于所述服务器的客户端。

11.根据权利要求10的系统，其中：

所述服务器能够操作用于向所述客户端提供用于由个体完成的问题页，

所述客户端能够操作用于向所述服务器提供与由所述个体完成的对所述问题页的解答对应的数据，并且

所述处理装置能够操作用于根据所设定的等级边界而对所述解答打分和评级。

12.一种用于对个体的表现进行评级的方法，包括：

接收用于表示个体的表现的信息；

根据等级边界对所述表现进行评级，以提供输出等级分布；

特征在于，所述方法还包括：

在存储器中存储个体的等级的期望输出分布的表示；

记录通过在统计上显著的时段内接收的所述用于表示个体的表现的信息来表示的实际表现；

利用处理装置、根据所记录的实际表现来设定等级边界，从而使得所述输出等级分布趋于与所述表示的期望分布相匹配。