CN113723774A - 答题评分方法、装置、计算机设备和存储介质 - Google Patents
答题评分方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113723774A CN113723774A CN202110937244.2A CN202110937244A CN113723774A CN 113723774 A CN113723774 A CN 113723774A CN 202110937244 A CN202110937244 A CN 202110937244A CN 113723774 A CN113723774 A CN 113723774A
- Authority
- CN
- China
- Prior art keywords
- information
- historical
- investigation
- answer
- examination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013077 scoring method Methods 0.000 title claims abstract description 14
- 238000011835 investigation Methods 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000010801 machine learning Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 10
- 238000007476 Maximum Likelihood Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 102100034761 Cilia- and flagella-associated protein 418 Human genes 0.000 description 4
- 101100439214 Homo sapiens CFAP418 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002759 z-score normalization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种答题评分方法、装置、计算机设备和存储介质。所述方法通过获取考察对象基于目标考题的答题信息，并将答题信息输入基于机器学习算法得到的评分模型，得到评分模型输出的答题信息在各维度上的分值，进而基于答题信息在各维度上的分值以及预先拟合的目标考题在各维度上的考察因子，以确定目标考题的答题信息对应的目标评分。从而实现基于机器学习模型进行自动评分，不仅节省了人工成本，且极大的提高了评分效率及公平性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种答题评分方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，在线答题系统作为一种新型的考试学习方法得到了广泛的应用。
传统技术中，在线答题系统主要以问答题、是非题和选择题为主的客观题考察形式，即通过每道题答案的正确与否进行评分，并最终根据每道题的得分加总以获得最终结果。而对于问答题的主观题考察形式则一般通过计算关键词覆盖的比例，对答题者回答的内容进行包括关键词、合规性等维度的评分，且在考察过程中一般通过手工分配题型比例的方式，以及分配权重到考察的各维度，最终总分通过各维度加权获得。
然而，目前的在线答题系统通过客观题的形式考察答题者的知识掌握情况时，考察内容受制于形式，且运气的成分会一定程度影响最终结果，从而导致对考生的公平性不高；而通过问答题的形式考察时则一般需要人工介入，导致人力成本较高。
发明内容
基于此，有必要针对上述传统技术中在线答题系统公平性不高且人力成本高的问题，提供一种答题评分方法、装置、计算机设备和存储介质。
一种答题评分方法，所述方法包括：
获取考察对象基于目标考题的答题信息；
将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
在其中一个实施例中，所述评分模型的获取方法：基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值；对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值；根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在其中一个实施例中，所述方法还包括：获取历史答题数据，所述历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。
在其中一个实施例中，所述根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型，包括：根据所述历史考题的历史评分，采用极大似然估计或最小二乘法对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在其中一个实施例中，所述获取考察对象基于目标考题的答题信息之前，所述方法还包括：获取考察的业务场景信息以及所述考察对象的属性信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息；基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题。
在其中一个实施例中，所述根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息，包括：获取题库信息，所述题库信息包括若干个题库以及每个题库对应的题库类型信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定对应的考察内容；在所述题库信息中确定与所述考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库；根据所述考察内容确定对应的考察类别和每个考察类别的权重分配信息。
在其中一个实施例中，所述候选题库中具有若干个考题，每个考题具有对应的类别；所述基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题，包括：确定匹配的候选题库中与所述考察类别对应的考题；在与所述考察类别对应的考题中，抽取与所述考察类别对应的权重分配信息匹配的考题，将抽取的考题确定所述考察对象的目标考题。
一种答题评分装置，所述装置包括：
答题信息获取模块，用于获取考察对象基于目标考题的答题信息；
分值获取模块，用于将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
目标评分确定模块，用于基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
上述答题评分方法、装置、计算机设备和存储介质，通过获取考察对象基于目标考题的答题信息，并将答题信息输入基于机器学习算法得到的评分模型，得到评分模型输出的答题信息在各维度上的分值，进而基于答题信息在各维度上的分值以及预先拟合的目标考题在各维度上的考察因子，以确定目标考题的答题信息对应的目标评分。从而实现基于机器学习模型进行自动评分，不仅节省了人工成本，且极大的提高了评分效率及公平性。
附图说明
图1为一个实施例中答题评分方法的流程示意图；
图2为一个实施例中评分模型获取步骤的流程示意图；
图3为另一个实施例中答题评分方法的流程示意图；
图4为又一个实施例中答题评分方法的流程示意图
图5为一个实施例中答题评分装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种答题评分方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
步骤102，获取考察对象基于目标考题的答题信息。
其中，考察对象是指待进行考察的对象，可以是学校学生、企业员工或针对某一产品的用户群体等。目标考题则是为考察对象分配的考题。答题信息是考察对象基于目标考题而做出的答复。在本实施例中，通过获取考察对象基于目标考题的答题信息，进而通过后续步骤确定考察对象基于目标考题的答题信息目标评分。
步骤104，将答题信息输入基于机器学习算法得到的评分模型，得到评分模型输出的答题信息在各维度上的分值。
其中，评分模型是基于机器学习算法进行训练后得到的用于对答题信息进行自动评分的机器学习模型。维度可以是不同的考察角度，例如，包括但不限于对知识点的掌握程度、合规度、情感的表达度、完整度、流畅度以及是否作弊等维度。在本实施例中，通过将答题信息输入评分模型，从而得到评分模型输出的答题信息在各维度上的分值。具体地，各维度上的分值可以是相互独立的。
步骤106，基于答题信息在各维度上的分值以及预先拟合的目标考题在各维度上的考察因子，确定目标考题的答题信息对应的目标评分。
其中，目标评分是指目标考题的答题信息的最终评分。考察因子是指各维度对应的权重系数。由于上述评分模型输出的答题信息在各维度上的分值是相互独立的，因此，在本实施例中，基于预先拟合的目标考题在各维度上的考察因子以及目标考题的答题信息在各维度上的分值进行加权计算，从而得到目标考题的答题信息对应的目标评分，也即答题信息最终的综合评分。
上述答题评分方法中，通过获取考察对象基于目标考题的答题信息，并将答题信息输入基于机器学习算法得到的评分模型，得到评分模型输出的答题信息在各维度上的分值，进而基于答题信息在各维度上的分值以及预先拟合的目标考题在各维度上的考察因子，以确定目标考题的答题信息对应的目标评分。从而实现基于机器学习模型进行自动评分，不仅节省了人工成本，且极大的提高了评分效率及公平性。
在一个实施例中，如图2所示，评分模型通过如下方法得到：
步骤202，基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值。
其中，自然语言处理(Natural Language Processing，简称NLP)是计算机科学领域与人工智能领域中的一个重要方向，能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法。在本实施例中，通过自然语言处理技术并结合一定的评分规则，对历史考题的历史答题信息在不同维度上进行打分，从而得到历史答题信息在各维度上的独立分值。
步骤204，对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值。
其中，标准化处理是将各维度的分值转化为无量纲化指标测评值，使得各维度的指标测评值处于同一数量级别，从而可以进行综合测评分析。具体地，标准化处理可以采用log函数转化、atan函数转化以及z-score标准化等任一方式。在本实施例中，通过对各维度的分值进行标准化处理，从而得到各维度标准化处理后的标准分值。标准分值则是对各维度的分值进行标准化处理后的分值。
步骤206，根据历史考题的历史评分对历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
其中，历史考题的历史评分是对历史考题的历史答题信息所做出的历史综合评分。具体地，该历史综合评分可以是人工给出的评分。在本实施例中，通过将历史考题的历史答题信息在各维度中的标准分值与历史考题的历史评分进行拟合，从而得到对应的评分模型。具体如下：
Y＝f(X；θ)，其中，Y为历史考题的历史答题信息所对应的历史评分向量，X为历史考题的历史答题信息在各维度中的标准分值矩阵，θ则为各维度对应的系数矩阵，也即评分模型。
具体地，由于拟合就是把平面上一系列的点，用一条光滑的曲线连接起来，而拟合的曲线一般可以用函数表示。而本实施例中，拟合的曲线就是历史考题的历史答题信息在各维度中的标准分值所对应的曲线。在本实施例中，可以采用极大似然估计或最小二乘法，并根据历史考题的历史评分，对历史考题的历史答题信息在各维度中的标准分值进行拟合，从而得到各维度对应的系数矩阵θ，也即得到对应的评分模型。
在一个实施例中，以极大似然估计为例来说，具体拟合过程如下：
其中，N为样本数量，xi为第i个样本，H(θ)＝Inl(θ)为对数极大似然函数，p(xi|θ)为样本xi在矩阵θ的概率。
在一个实施例中，以最小二乘法为例来说，具体拟合过程如下：
θ＝(XT，X)-1×XT×Y，其中，Y为历史考题的历史答题信息所对应的历史评分向量，X为历史考题的历史答题信息在各维度中的标准分值矩阵。
在一个实施例中，在根据历史考题的历史评分对历史考题的历史答题信息在各维度中的标准分值进行拟合之前，还包括：根据历史考题的历史评分对历史考题的历史答题信息在各维度中的标准分值进行调整的步骤。
具体地，可以根据历史考题的历史答题信息在各维度中的标准分值确定对应维度的离差或各维度的平均离差，当离差或平均离差满足设定条件时，则根据历史考题的历史评分对历史考题的历史答题信息在各维度中的标准分值进行调整。其中，离差是指一个观测值或测验分数与特定的参照点(如平均数、中数等)之间的差距。在本实施例中，观测值或测验分数则是指各维度的标准分值，参照点则是各维度的平均分值。
例如，当存在N个维度时，若各维度的标准分值分别为X1，X2，X3，……，XN一1，XN，则各维度的标准分值与总体平均分值之差为对应维度的离差，平均离差则为各维度的离差的平均值。设定条件则可以是设定的离差阈值或平均离差的阈值。例如，当各维度的离差大于某一阈值(如10)的样本占总样本一定比例(如10％)时，或者当平均离差大于某一阈值(如5)时，则采用上述步骤204对各维度的分值重新进行标准化处理，从而实现对各维度中的标准分值进行调整的目的，以提高后续拟合的准确性。
在一个实施例中，上述方法还可以包括如下步骤：获取历史答题数据。其中，历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。具体地，可以收集大量的历史考题以及对应的历史答题信息，并基于历史考题所对应的业务场景或技术领域，经相关经验丰富的专家对相应的历史答题信息进行评分，从而得到对应的历史评分。可以理解的是，在评分过程中同时可以提炼对应的评分规则，从而提高评分的规范化程度。
在一个实施例中，如图3所示，在获取考察对象基于目标考题的答题信息之前，上述方法还可以包括如下步骤：
步骤302，获取考察的业务场景信息以及考察对象的属性信息。
其中，业务场景信息包括考察领域、考察范围和/或考察目的等。考察对象的属性信息则可以是考察对象的类别，例如，考察的是领域内的小白还是骨干，或是其他。在本实施例中，通过获取考察的业务场景信息以及考察对象的属性信息，从而通过后续步骤为考察对象分配对应的目标考题。
步骤304，根据考察的业务场景信息以及考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息。
其中，题库是用于存放各种考题的数据仓库。具体地，基于不同领域的考题，可以将其存储在不同类型的题库中。而对于题库中的每一个考题，其还可以具有相应的标签，具体地，标签可以记载该考题的考察类别，其中，考察类别包括但不限于开场寒暄类、需求探索类、产品介绍类、阻力应对类、落地促成类等。权重分配信息则是为不同考察类别所分配的权重。
在本实施例中，可以根据上述获取的考察的业务场景信息而确定匹配的候选题库。例如，若存在基金产品题库、借贷产品题库和保险产品题库，而考察的业务场景信息对应的考察领域为基金领域，则可以确定匹配的候选题库为基金产品题库。进而可以基于考察对象的属性信息确定考察类别和对应的权重分配信息。举例来说，基于不同产品的特性，如新发产品会更加侧重知识点的掌握，因此可以重点考察产品的掌握情况，因此，可以为产品介绍类分配较高的权重，而其他类分配较低的权重；而对于老产品的二次发售或二次考核，则可以在需求探索和落地促成上重点考察，因此，可以相应地分配较高的权重。而当面向的是培训新人理财经理时，则可以在开场寒暄类以及产品介绍类作为重点考察，并为其分配较高的权重；当作为销售骨干的升级考试时，则可以将阻力应对类、落地促成类作为重点考察，并为其分配较高的权重。
在一个实施例中，还可以获取题库信息，其中，题库信息包括若干个题库以及每个题库对应的题库类型信息，并根据考察的业务场景信息以及考察对象的属性信息确定对应的考察内容，其中，考察内容可以是具体的考察领域，然后在题库信息中确定与考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库，进而根据考察内容确定对应的考察类别和每个考察类别的权重分配信息。
步骤306，基于考察类别和对应的权重分配信息在匹配的候选题库中确定考察对象的目标考题。
由于题库中存储的每一个题具有对应的考察类别标签，因此，在本实施例中，通过在匹配的候选题库中抽取与考察类别对应的权重分配信息匹配的考题，作为考察对象的目标考题。
具体地，首先确定匹配的候选题库中与待抽取的考察类别对应的考题，进而在与考察类别对应的考题中，抽取与考察类别对应的权重分配信息匹配的考题，将抽取的考题确定为考察对象的目标考题。例如，若基于上述步骤确定匹配的候选题库为基金产品题库，又由于面向的是培训新人理财经理，因此，可以将开场寒暄类、需求探索类、产品介绍类以及落地促成类作为对应的考察类别，同时，对于开场寒暄类以及产品介绍类应分配较高的权重，而其他类则可以分配较低的权重。进而可以在确定的候选题库中抽取与考察类别对应的权重分配信息匹配的考题。例如，以抽取开场寒暄类的考题为例来说，则首先基于开场寒暄类对应的权重而确定需要抽取的题个数n，并在确定的候选题库中找到可供选择的考题，即确定候选题库中所有开场寒暄类的考题，若题库中开场寒暄类的考题有N个，则基于需要抽取的考题个数n在N个考题中随机抽取。不仅可以避免考题重复的问题，且无需要人工参数，可以提高目标考题的抽取效率及公平性。
在一个实施例中，如图4所示，以下进一步说明本申请的答题评分方法，具体包括：
1、收集历史的真实答题数据，如不同背景和资历的理财经理对于理财问题的答题结果文本、答题时间等相关答题数据。
2、经富有理财培训经验培训师或销售经验的一线销售人员对历史理财问题的答题结果文本进行手工评分，并提炼打分规则，从而用于打分的规范化。
3、基于现有的NLP技术和相关业务规则，对历史理财问题的答题结果文本进行多维度独立的机器自动打分，包括但不限于知识点，语速，合规，情感，完整度，流畅度以及是否作弊等维度。
4、根据打分分布对各维度进行单维度分数标准化，例如，可以采用log函数转化、atan函数转化以及z-score标准化其中之一进行标准化。从而将原始数据转化为无量纲化指标测评值，使得各指标值处于同一数量级别，因此可用于进行综合测评分析。
5、根据极大似然或最小二乘法对标准化后的各维度分数同上述2中的人工评分进行拟合，如果与人工打分差距较大则重新进行标准化。例如，如果平均离差超过5分，或离差超过10分的样本占总样本的10％时，则重新进行标准化。直到满足要求时得到评分模型。
6、基于容器化的无状态模型部署对上述评分模型进行部署，并提供http接口。
7、基于业务场景随机出题，基于丰富题库随机抽题的方式增加目标考题的随机性，并减少重复做同一道题目的现象，同时增加公平性。具体地，为题库中的每道题目，根据题目类别(如开场寒暄类，需求探索类，产品介绍类，阻力应对类，落地促成类等)以及考察维度(如话语流利程度，是否有情感倾向，表达是否准确，知识点涵盖是否完全，话术是否合规，内容完整度等)打上相应的标签，每次基于考试设定的要求，通过每道题目的标签圈出符合要求的题库，并根据当期考察的侧重点和对象，分配题目分值。例如，基于不同产品的特性，如新发产品会更加侧重知识点的掌握；老产品的二次发售或二次考核，则会更加侧重情感倾向和表达准确的维度上；同时，当面向的是培训新人理财经理时，更倾向于对知识点和合规性的考察，这个几个维度；当作为销售骨干升级考试时，更需要将流利程度，表达能力作为。重点考察的对象；当面向销售大师，全面的考察才是必须的。根据题目分值和题目类别，找到可供选择的题目个数(N)，生成一个小于N的伪随机数n，抽取范围内序号为n的题目，若需要抽取的题目有多个，则可以多次抽取。
8、通过上述部署的评分模型进行高并发的模型评分。同时累积增量历史数据，为自动评分的能力提供基准，以提高模型的打分能力，从而完成评分模型迭代闭环。
应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种答题评分装置，包括：答题信息获取模块502、分值获取模块504和目标评分确定模块506，其中：
答题信息获取模块502，用于获取考察对象基于目标考题的答题信息；
分值获取模块504，用于将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
目标评分确定模块506，用于基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
在一个实施例中，还包括评分模型获取模块，用于基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值；对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值；根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，评分模型获取模块还用于：获取历史答题数据，所述历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。
在一个实施例中，评分模型获取模块还用于：根据所述历史考题的历史评分，采用极大似然估计或最小二乘法对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，还包括目标考题确定模块，用于获取考察的业务场景信息以及所述考察对象的属性信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息；基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题。
在一个实施例中，目标考题确定模块还用于：获取题库信息，所述题库信息包括若干个题库以及每个题库对应的题库类型信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定对应的考察内容；在所述题库信息中确定与所述考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库；根据所述考察内容确定对应的考察类别和每个考察类别的权重分配信息。
在一个实施例中，所述候选题库中具有若干个考题，每个考题具有对应的类别；目标考题确定模块还用于：确定匹配的候选题库中与所述考察类别对应的考题；在与所述考察类别对应的考题中，抽取与所述考察类别对应的权重分配信息匹配的考题，将抽取的考题确定所述考察对象的目标考题。
关于答题评分装置的具体限定可以参见上文中对于答题评分方法的限定，在此不再赘述。上述答题评分装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，也可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史答题数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种答题评分方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取考察对象基于目标考题的答题信息；
将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值；对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值；根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取历史答题数据，所述历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述历史考题的历史评分，采用极大似然估计或最小二乘法对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取考察的业务场景信息以及所述考察对象的属性信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息；基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取题库信息，所述题库信息包括若干个题库以及每个题库对应的题库类型信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定对应的考察内容；在所述题库信息中确定与所述考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库；根据所述考察内容确定对应的考察类别和每个考察类别的权重分配信息。
在一个实施例中，所述候选题库中具有若干个考题，每个考题具有对应的类别；则处理器执行计算机程序时还实现以下步骤：确定匹配的候选题库中与所述考察类别对应的考题；在与所述考察类别对应的考题中，抽取与所述考察类别对应的权重分配信息匹配的考题，将抽取的考题确定所述考察对象的目标考题。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取考察对象基于目标考题的答题信息；
将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值；对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值；根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取历史答题数据，所述历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述历史考题的历史评分，采用极大似然估计或最小二乘法对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取考察的业务场景信息以及所述考察对象的属性信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息；基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取题库信息，所述题库信息包括若干个题库以及每个题库对应的题库类型信息；根据所述考察的业务场景信息以及所述考察对象的属性信息确定对应的考察内容；在所述题库信息中确定与所述考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库；根据所述考察内容确定对应的考察类别和每个考察类别的权重分配信息。
在一个实施例中，所述候选题库中具有若干个考题，每个考题具有对应的类别；则计算机程序被处理器执行时还实现以下步骤：确定匹配的候选题库中与所述考察类别对应的考题；在与所述考察类别对应的考题中，抽取与所述考察类别对应的权重分配信息匹配的考题，将抽取的考题确定所述考察对象的目标考题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种答题评分方法，其特征在于，所述方法包括：
获取考察对象基于目标考题的答题信息；
将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
2.根据权利要求1所述的方法，其特征在于，所述评分模型的获取方法：
基于自然语言处理技术获取历史考题的历史答题信息在不同维度上的分值；
对各维度的分值进行标准化处理，获取各维度标准化处理后的标准分值；
根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取历史答题数据，所述历史答题数据中包括不同业务场景下的历史考题以及对应的历史答题信息和历史评分。
4.根据权利要求2所述的方法，其特征在于，所述根据所述历史考题的历史评分对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型，包括：
根据所述历史考题的历史评分，采用极大似然估计或最小二乘法对所述历史考题的历史答题信息在各维度中的标准分值进行拟合，得到对应的评分模型。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述获取考察对象基于目标考题的答题信息之前，所述方法还包括：
获取考察的业务场景信息以及所述考察对象的属性信息；
根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息；
基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题。
6.根据权利要求5所述的方法，其特征在于，所述根据所述考察的业务场景信息以及所述考察对象的属性信息确定匹配的候选题库以及考察类别和对应的权重分配信息，包括：
获取题库信息，所述题库信息包括若干个题库以及每个题库对应的题库类型信息；
根据所述考察的业务场景信息以及所述考察对象的属性信息确定对应的考察内容；
在所述题库信息中确定与所述考察内容匹配的题库类型信息，将匹配的题库类型信息对应的题库确定为候选题库；
根据所述考察内容确定对应的考察类别和每个考察类别的权重分配信息。
7.根据权利要求5所述的方法，其特征在于，所述候选题库中具有若干个考题，每个考题具有对应的类别；所述基于考察类别和对应的权重分配信息在匹配的候选题库中确定所述考察对象的目标考题，包括：
确定匹配的候选题库中与所述考察类别对应的考题；
在与所述考察类别对应的考题中，抽取与所述考察类别对应的权重分配信息匹配的考题，将抽取的考题确定所述考察对象的目标考题。
8.一种答题评分装置，其特征在于，所述装置包括：
答题信息获取模块，用于获取考察对象基于目标考题的答题信息；
分值获取模块，用于将所述答题信息输入基于机器学习算法得到的评分模型，得到所述评分模型输出的所述答题信息在各维度上的分值；
目标评分确定模块，用于基于所述答题信息在各维度上的分值以及预先拟合的所述目标考题在各维度上的考察因子，确定所述目标考题的答题信息对应的目标评分。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110937244.2A CN113723774A (zh) | 2021-08-16 | 2021-08-16 | 答题评分方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110937244.2A CN113723774A (zh) | 2021-08-16 | 2021-08-16 | 答题评分方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113723774A true CN113723774A (zh) | 2021-11-30 |
Family
ID=78675971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110937244.2A Pending CN113723774A (zh) | 2021-08-16 | 2021-08-16 | 答题评分方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723774A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093706A (zh) * | 2023-10-19 | 2023-11-21 | 杭州烛微智能科技有限责任公司 | 一种试卷生成方法、系统、介质及电子设备 |
| JP7452916B1 (ja) | 2023-12-18 | 2024-03-19 | 株式会社首都圏中学模試センター | 文章採点装置、文章採点方法及び文章採点プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100151427A1 (en) * | 2008-12-12 | 2010-06-17 | Institute For Information Industry | Adjustable hierarchical scoring method and system |
| CN110767011A (zh) * | 2019-11-14 | 2020-02-07 | 国网宁夏电力有限公司经济技术研究院 | 一种考题选取方法及系统 |
-
2021
- 2021-08-16 CN CN202110937244.2A patent/CN113723774A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100151427A1 (en) * | 2008-12-12 | 2010-06-17 | Institute For Information Industry | Adjustable hierarchical scoring method and system |
| CN110767011A (zh) * | 2019-11-14 | 2020-02-07 | 国网宁夏电力有限公司经济技术研究院 | 一种考题选取方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093706A (zh) * | 2023-10-19 | 2023-11-21 | 杭州烛微智能科技有限责任公司 | 一种试卷生成方法、系统、介质及电子设备 |
| CN117093706B (zh) * | 2023-10-19 | 2024-01-09 | 杭州烛微智能科技有限责任公司 | 一种试卷生成方法、系统、介质及电子设备 |
| JP7452916B1 (ja) | 2023-12-18 | 2024-03-19 | 株式会社首都圏中学模試センター | 文章採点装置、文章採点方法及び文章採点プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680019B (zh) | 一种考试方案的实现方法、装置、设备及存储介质 | |
| WO2021190086A1 (zh) | 面审风险控制方法、装置、计算机设备及存储介质 | |
| CN111651676B (zh) | 基于能力模型进行职业推荐的方法、装置、设备和介质 | |
| CN110210301A (zh) | 基于微表情评价面试者的方法、装置、设备和存储介质 | |
| CN113723774A (zh) | 答题评分方法、装置、计算机设备和存储介质 | |
| Conley et al. | Estimating dynamic local interactions models | |
| CN115641101A (zh) | 一种智能化招聘的方法、装置及计算机可读介质 | |
| CN112487284A (zh) | 银行客户画像生成方法、设备、存储介质及装置 | |
| CN114328277A (zh) | 一种软件缺陷预测和质量分析方法、装置、设备及介质 | |
| CN111583024A (zh) | 信用评估方法、装置、存储介质及服务器 | |
| CN115396389A (zh) | 一种基于情绪能量感知的物联网信息技术客服服务系统 | |
| Costa et al. | Automatic classification of computational thinking skills in elementary school math questions | |
| CN109993499B (zh) | 面试综合评价方法、装置、计算机设备及存储介质 | |
| CN114692785B (zh) | 行为分类方法、装置、设备及存储介质 | |
| CN111553555A (zh) | 培训方法、装置、计算机设备和存储介质 | |
| CN114971425B (zh) | 数据库信息监控方法、装置、设备及存储介质 | |
| CN112926989B (zh) | 一种基于多视图集成学习的银行贷款风险评估方法及设备 | |
| CN115147067A (zh) | 一种基于深度学习智能招聘人才的方法 | |
| CN111652767B (zh) | 用户画像构建方法、装置、计算机设备和存储介质 | |
| CN113919983A (zh) | 试题画像方法、装置、电子设备和存储介质 | |
| Lobanov | The present and future of qualimetry as a scientific discipline | |
| JP2023516035A (ja) | ランダムフォレスト分類器を用いて、さまざまな時間特性を有するデータを処理してマネジメントアレンジメントに関する予測を生成する方法およびシステム | |
| CN112989001A (zh) | 一种问答处理方法、装置、介质及电子设备 | |
| CN113449095A (zh) | 一种面试数据分析方法和装置 | |
| CN111798217B (zh) | 数据分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |