CN117540727B - 基于albert模型与rpa技术的主观题评分方法及系统 - Google Patents

基于albert模型与rpa技术的主观题评分方法及系统 Download PDF

Info

Publication number
CN117540727B
CN117540727B CN202410025948.6A CN202410025948A CN117540727B CN 117540727 B CN117540727 B CN 117540727B CN 202410025948 A CN202410025948 A CN 202410025948A CN 117540727 B CN117540727 B CN 117540727B
Authority
CN
China
Prior art keywords
subjective question
answers
text
scoring
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410025948.6A
Other languages
English (en)
Other versions
CN117540727A (zh
Inventor
廖万里
金卓
胡金兰
唐剑
周柳航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Kingsware Information Technology Co Ltd
Original Assignee
Zhuhai Kingsware Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsware Information Technology Co Ltd filed Critical Zhuhai Kingsware Information Technology Co Ltd
Priority to CN202410025948.6A priority Critical patent/CN117540727B/zh
Publication of CN117540727A publication Critical patent/CN117540727A/zh
Application granted granted Critical
Publication of CN117540727B publication Critical patent/CN117540727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了基于ALBERT模型与RPA技术的主观题评分方法及系统，所述方法包括以下步骤：输入待评分的主观题学生答案，以及主观题参考答案；计算主观题学生答案、主观题参考答案之间的文本语义相似度；利用同义词词林计算主观题学生答案、主观题参考答案之间面向得分点的关键词相似度；综合主观题学生答案、主观题参考答案之间的文本语义相似度、关键词相似度，对主观题学生答案进行综合评分并输出。本发明采用先分句分词，然后提取特征，再进行相似度计算的方式，使得本发明的系统能够更加有效地提取文本特征，从而提高主观题评分效率和准确性。

Description

基于ALBERT模型与RPA技术的主观题评分方法及系统
技术领域
本发明涉及自动化阅卷评分领域，特别涉及基于ALBERT模型与RPA技术的主观题评分方法及系统。
背景技术
主观题评分一直主要依赖人工阅卷，人工阅卷存在着几个明显的不足之处：首先，人工评阅员在对主观题文本进行评分时，受到主观因素的影响较大，他们的个人经验、偏好甚至在阅卷期间的情绪状态都可能对评分结果产生一定的影响，进而导致评分标准的不一致性和主观性；其次，由于人工评阅的主观性和主观的不确定性，不同的评阅员可能会给出不同的评分结果，这种不一致性不仅会影响公平性，也会降低评分的可靠性和稳定性；此外，人工评阅需要耗费大量的时间和人力资源，尤其是在面对大量主观题文本的情况下，评阅效率往往低下，严重影响整个评分流程的效率和速度；最后，传统的人工评分难以建立起客观、量化的评价标准体系，评分标准缺乏科学性和客观性，难以保证评分结果的公正性和准确性。
因此，亟待一种新的系统与装置来提升对主观题文本评分的客观性、一致性和效率性，解决现有技术在主观题评分领域存在着的主观性强、评分不一致、评阅效率低以及难以量化评价标准等问题。
现有技术“授权公告号：CN110096702B，专利名称：一种主观题评分方法及装置，专利权人：安徽省泰岳祥升软件有限公司，申请日：2019-04-22，公告日：2023-07-25”，公开了如下方案：一种主观题评价方法及装置，其中，所述方法包括：接收主观题的评分关联数据；计算所述标准答案数据和所述试卷答案数据的语义相似度值；利用所述题干数据对应的基本评分方程和所述语义相似度值，计算所述主观题的基础得分系数；计算所述试卷答案数据与预设附加评分维度对应的附加得分系数；利用最终评分模型，计算本体向量对应的最终得分系数，并通过计算最终得分系数与主观题总分的乘积，获得最终得分。相比于人工阅卷，该方案虽然有一定的进步，但是处理效率依然不够。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供基于ALBERT模型与RPA技术的主观题评分方法。
本发明的另一目的在于提供基于ALBERT模型与RPA技术的主观题评分系统。
本发明的目的通过以下的技术方案实现：
基于ALBERT模型与RPA技术的主观题评分方法，包括以下步骤：
S1、输入待评分的主观题学生答案，以及主观题参考答案；
S2、使用ALBERT模型计算主观题学生答案、主观题参考答案之间的文本语义相似度；
S3、同时分别对主观题学生答案、主观题参考答案依次进行分词、提取关键词操作得到主观题学生答案、主观题参考答案的关键词序列，将关键词序列扩展为同义词词林，利用同义词词林计算主观题学生答案、主观题参考答案之间面向得分点的关键词相似度；
S4、综合主观题学生答案、主观题参考答案之间的文本语义相似度、关键词相似度，对主观题学生答案进行综合评分；
S5、利用RPA技术实现自动化流程，将综合评分后的结果进行输出。
步骤S1中，所述主观题学生答案、主观题参考答案先经过文本预处理和数据转换，然后再保存。
步骤S2中，所述ALBERT模型是采用双向Transformer编译器结构的预训练语言模型，ALBERT模型则利用Transformer的Encoder层来提取输入序列的特征信息；Encoder层由Self-Attention层、Feed-Forward层和两个Add & Norm层组成；
在输入向量序列时，Transformer会对每个输入词的位置信息进行向量化，并与原词向量相加，以便让输入词带有位置信息；接下来，Encoder层通过Self-Attention层处理输入序列，计算词与词之间的关系矩阵，并利用加权计算的方式来更新输入序列的词向量；Encoder层利用Self-Attention层和Feed-Forward层对输入序列进行处理，并通过Add &Norm层来保持信息流的连贯性；这种结构使得Transformer能够有效地提取输入序列的特征信息，从而为后续任务提供更准确的输入。
步骤S2中，所述ALBERT模型将输入的主观题学生答案、主观题参考答案进行编码，然后将编码后的结果输入到Softmax函数中：
；
其中，为第/>个节点的输出值，/>为输出节点的个数，即分类的类别个数；/>为为最后一个节点的输出值；/>和/>为以自然常数e为底的指数函数；通过Softmax函数可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布，得到它们的内积表示相似度得分，表示两个文本之间的相似概率；
同时，使用交叉熵损失函数对模型进行训练：
；
其中，为第/>个节点的损失值，/>表示所有类别得分的指数和。通过使用交叉熵损失函数计算出每个类别的损失数，并将其用作分类的依据。
步骤S2中，所述ALBERT模型引入了两个无监督预训练任务，即掩码语言模型和句子顺序预测；
在掩码语言模型的训练任务中，会随机选择输入文本中15%的词，并进行三种形式的替换；其中，80%的被替换词会被特殊标记"Mask"替代，10%的被替换词会被随机选择的其他词替代，而剩下的10%的词则不进行任何替换；这样的设计有助于避免模型过度依赖于训练数据中不存在的"Mask"标记，并使模型在计算词向量时更加依赖上下文信息；
在句子顺序预测的训练任务中，会从同一文本中提取两个句子A和B，并预测它们的语句顺序；句子顺序预测会将正序的A和B作为正例，把改变A和B顺序的情况作为反例；由于同一文本中的句子描述相同主题，因此在同一个文本中选择句子对有助于减少文本主题差异对训练效果的影响。
步骤S3中，所述关键词相似度是基于信息内容词语相似度进行计算，使用的函数如下：
；
其中，MaxDIFF表示词林中词语之间的最大差异性，MinDIF则表示词林中词语之间的最小差异性，dis(c1,c2)表示两个词语之间所在节点之间的距离；当两个词语位于不同大类下的叶子节点时，且它们的最近公共父节点为根节点时，它们之间具有最大差异性；而当两个词语位于同一叶子节点上时，它们之间具有最小差异性，用于计算词语相似度，为关键词相似度的计算提供支持。
步骤S4中，所述综合评分使用以下函数进行综合评分：
；
其中，Score为主观题学生答案；α和β为超参数，是由实验筛选出的最佳取值；TextSim是利用ALBERT模型得到的文本相似度，取值范围为0~1之间；KeySim是基于同义词词林计算得出的关键词相似度，取值范围也是0~1之间；MaxScore为题目的分值。
本发明的另一目的通过以下的技术方案实现：
基于ALBERT模型与RPA技术的主观题评分系统，包括文本输入模块、阅卷评分模块、结果输出与分析模块；其中，
文本输入模块，输入待评分的主观题学生答案，以及主观题参考答案；
阅卷评分模块，使用ALBERT模型计算主观题学生答案、主观题参考答案之间的文本语义相似度；同时分别对主观题学生答案、主观题参考答案依次进行分词、提取关键词操作得到主观题学生答案、主观题参考答案的关键词序列，将关键词序列扩展为同义词词林，利用同义词词林计算主观题学生答案、主观题参考答案之间面向得分点的关键词相似度；综合主观题学生答案、主观题参考答案之间的文本语义相似度、关键词相似度，对主观题学生答案进行综合评分；
结果输出与分析模块，利用RPA技术实现自动化流程，将综合评分后的结果进行输出。
同时，本发明提供：
一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一段程序，所述程序由所述处理器加载并执行以实现上述基于ALBERT模型与RPA技术的主观题评分方法。
一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述程序由处理器加载并执行以实现上述基于ALBERT模型与RPA技术的主观题评分方法。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提高评分效率：RPA技术的应用能够自动化处理大量文本输入和评分结果的输出，大幅提高了评分过程的效率，减少了人为操作所需的时间和人力成本。
2、本发明提升评分准确性和一致性：基于ALBERT模型的文本分析能够实现对主观题文本的深度理解和分析，使得评分更加客观、准确。同时，RPA技术的自动化流程消除了人为错误的可能性，保证了评分结果的一致性和准确性。
3、本发明支持数据分析与报告生成：结果输出与分析模块能够自动生成各种形式的报表和分析图表，通过数据可视化的方式直观地展示评分情况和趋势变化，为评委和管理者提供直观、清晰的参考信息。
4、本发明降低人为成本和风险：自动化流程的应用降低了人为操作的需求，减少了人为成本，并且降低了因人为错误而带来的风险，提高了整个评分系统的稳定性和可靠性。
5、本发明改善用户体验：通过自动化流程和个性化反馈，该系统为管理者、评委和考生提供了更便捷、准确、客观的服务和体验，提升了整体的用户满意度。
附图说明
图1为本发明所述一种基于ALBERT模型与RPA技术的主观题评分系统的工作流程图。
图2为本发明所述文本输入模块的工作流程图。
图3为本发明所述阅卷评分模块的工作流程图。
图4为本发明所述ALBERT模型的结构示意图。
图5为本发明所述Transformer模型的Encoder层的结构示意图。
图6为本发明所述关键词相似度计算的流程图。
图7为本发明所述结果输出与分析模块的工作流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
一种基于ALBERT模型与RPA技术的主观题评分方法，其使用的ALBERT模型（一种基于Transformer架构的预训练语言模型）被用于对主观题文本进行语义理解和上下文把握。该模型通过预训练和微调的方式，能够从大规模数据中学习到丰富的语义知识，并能准确地理解文本的含义和上下文关系。RPA技术（Robotic Process Automation，机器人流程自动化技术）则用于实现评分过程的自动化，包括文本输入、模型计算和评分结果输出等环节。通过将ALBERT模型与RPA技术相融合，本发明实现了主观题评分的自动化过程，能够提高评分效率和准确性。
通过结合ALBERT模型与RPA技术，本发明的评分系统能够快速、准确地评估主观题文本的质量，为评阅员提供重要的参考依据。本发明在针对主观题文本内容的处理思路上，不同于其他主观题评分类型的专利。本发明采用先分句分词，然后提取特征，再进行相似度计算的方式，而不是先对主观题文本进行相似度计算，然后在后续的处理过程中视情况进行分词处理的方式。这种新的处理方式使得本发明的系统能够更加有效地提取文本特征，从而提高评分效率和准确性。
此外，本发明的评分系统所使用的计算公式也不同于其他类似专利。例如，在计算相似度时是分别计算文本相似度和关键词相似度，然后再给出综合评分。这种计算方法能够更好地反映出文本的质量和关键信息的重要程度，从而保证评分结果的准确性和可靠性。同时，本发明的评分系统还具有广泛的应用前景，可应用于主观题评分领域以及其他需要文本评分的领域。
一种基于ALBERT模型与RPA技术的主观题评分系统，由3个模块组成：文本输入模块、阅卷评分模块、结果输出与分析模块，其主要工作流程图如图1所示。
下面按模块分别介绍：
1、文本输入模块
文本输入模块是“基于ALBERT模型与RPA技术的主观题评分系统与装置”中的一个前置模块，其功能是接收待评分的主观题文本。通过用户界面或接口模块，用户可以将需要评分的主观题文本输入到系统中，以便后续的自动化评分和结果分析。文本输入模块为整个系统提供了用户交互的入口，使得用户可以方便地将主观题文本导入到系统中进行评分处理。
如图2，文本输入模块的工作流程如下：
1）文本接收
“文本接收”的主要功能是接收用户输入的主观题文本，为后续的自动化评分和结果分析提供数据源。该子模块可以通过用户界面或接口模块接收用户输入的主观题文本信息，并将其存储到系统数据库中，以便后续处理。
文本接收子模块具备以下两个方面的功能：
（a）支持多种文本格式的输入，包括纯文本、富文本、HTML等格式；
（b）支持批量文本输入，以提高用户的操作效率。
2）输入验证
“输入验证”的主要功能是对用户输入的主观题文本进行验证和检查，确保输入的文本符合系统的要求和规范。通过输入验证的文本信息，可以有效地减少后续处理过程中遇到错误和异常的情况，并提高系统的稳定性和可靠性，确保系统接收到的文本数据符合系统要求，并为后续的自动化评分和结果分析提供可靠的数据基础。
输入验证子模块具备以下五个方面的功能：
（a）格式验证：对用户输入的文本进行格式验证，确保文本的格式符合系统要求。例如，检查文本是否为空、是否包含特殊字符或非法字符等。
（b）字数限制：根据系统设定的字数限制，验证用户输入的文本是否超过规定的最大字数或低于最小字数要求，确保评分过程的公平性和一致性。
（c）敏感词过滤：对用户输入的文本进行敏感词过滤，屏蔽或标记包含敏感词汇的文本，以遵守相关法律法规和社会规范。
（d）数据完整性检查：验证用户输入的文本是否完整，是否缺少必要的信息或元素。例如，检查是否缺少题目、正文内容等关键信息。
（e）数据合法性检查：对用户输入的文本进行合法性检查，确保输入的内容符合系统要求和规范。例如，检查是否包含非法链接、广告信息等不允许的内容。
3）验证是否通过
（a）若验证通过，则将通过验证的文本信息传入“文本预处理”子模块中；
（b）若验证未通过，则提示用户输入信息有误，请重新输入（系统调用“文本接收”子模块功能）。
4）文本预处理
“文本预处理”的主要功能功能是对通过验证的待评分主观题文本进行一系列的处理和准备工作，将原始的待评分主观题文本转化为更加干净、规范且易于处理的形式，为后续的自动化评分和结果分析提供了基础数据，更准确地对主观题文本进行评分，并提供有价值的结果分析和反馈，以便后续的自动化评分和结果分析能够更加准确和高效地进行。
文本预处理子模块具备以下五个方面的功能：
（a）文本清洗：去除文本中的无关信息、特殊字符、标点符号等，使得文本更加干净和规范，提高后续处理的效果和准确性。
（b）分词处理：将文本按照词语的单位进行切分，将长句子或段落拆分成独立的词语，为后续的语义分析和特征提取做准备。
（c）停用词过滤：去除文本中的停用词，如常见的连接词、介词等。这些词语通常对文本的含义和特征分析没有太大贡献和作用，过滤掉这些信息可以提高数据处理的效率与精确度。
（d）词干化/词形还原：将词语转化为其基本形式，以减少词语的变体对后续处理的影响。
（e）特征提取：从文本中提取出与评分相关的特征，包括词频、句子长度、语法结构等特征，以便后续的评分模型能够更好地利用这些信息进行评分。
5）数据转换
“数据转换”的主要功能是将用户输入的主观题文本数据进行格式转换和规范化，将预处理后的文本数据转换为适合下一模块处理的格式，例如将文本数据转换为词袋模型、词向量或特征矩阵等形式。同时，该子模块将分词结果转换为适合处理的形式，并进行进一步的数据预处理和特征提取，如正则化、降维等。通过数据规范化，确保系统能够正确解析和处理用户输入的文本数据，提高评分和结果分析的准确性和效率。
数据转换子模块具备以下五个方面的功能：
（a）文本解析：将用户输入的主观题文本进行解析，提取出其中的关键信息，如题目、正文内容、作者等。这样可以将文本数据转换为结构化的数据形式，方便后续处理和分析。
（b）数据清洗：对用户输入的文本数据进行清洗和预处理，去除多余的空格、特殊字符或标点符号等。这有助于提高后续处理的效率和准确性。
（c）文本编码：将文本数据进行编码转换，确保系统能够正确地处理不同字符编码的文本。例如，将Unicode编码转换为UTF-8编码，以适应系统的处理要求。
（d）数据规范化：对用户输入的文本数据进行规范化处理，使其符合系统定义的规范和标准。例如，统一日期格式、单位符号、缩写等，以确保后续处理和分析的一致性和准确性。
（e）数据类型转换：根据系统要求，将文本数据中的特定字段进行类型转换，如将字符串类型的数字转换为数值型，以便后续数值计算和分析。
6）结果保存
“结果保存”的主要功能是保存经过处理的用户所输入的主观题文本数据，确保下一模块（阅卷评分模块）的分析与处理。
结果保存子模块具备以下三个方面的功能：
（a）结果存储：将系统自动评分的结果以及用户输入的主观题文本数据进行存储，以便后续查询和分析。
（b）数据管理：对存储的结果和原始文本数据进行管理，包括数据备份、恢复、清理等操作，以确保数据的完整性和可靠性。
（c）数据查询：提供用户查询已评分结果和原始文本数据的接口，以方便用户查看和分析数据。
2、阅卷评分模块
阅卷评分模块是中的核心模块，旨在解决具有参考答案的主观题机器自动评分中的得分点契合度和文本整体相似度等问题，提供一种结合ALBERT和同义词词林的主观题自动评分方法。
在阅卷评分模块中，首先利用ALBERT的Fine-tuning方法计算学生答案和参考答案之间的文本语义相似度，通过深度学习模型对文本进行语义建模和特征提取，以准确衡量两者之间的语义相似程度。随后，通过关键词提取操作，利用同义词词林计算两份文本间面向得分点的关键词相似度，将语义相似度和关键词相似度结合起来，计算出综合得分。这一综合得分综合考虑了文本的整体语义相似度以及针对得分点的关键词相似度，从而更准确地评估考生答题的质量，在评分准确率方面取得了明显的提高。
阅卷评分模块的工作流程图如图3所示。
1）文本相似度计算
ALBERT是采用双向Transformer编译器结构的预训练语言模型。其中，I表示单个词或字的向量输入；Trm表示Transformer；T表示最终隐藏层的输出。通过编码器里的注意力矩阵和注意力加权后，可以使每个T都具有整句话上下文的语义信息。
ALBERT模型结构如图4所示。
Transformer是一种采用Encoder-Decoder结构的seq2seq模型，而ALBERT模型则利用Transformer的Encoder层来提取输入序列的特征信息。Encoder层由Self-Attention层、Feed-Forward层和两个Add & Norm层组成。
在输入向量序列时，Transformer会对每个输入词的位置信息进行向量化，并与原词向量相加，以便让输入词带有位置信息。接下来，编码器通过Self-Attention处理输入序列，计算词与词之间的关系矩阵，并利用加权计算的方式来更新输入序列的词向量。
在Self-Attention层和Feed-Forward层的后面都紧跟着一个Add & Norm层。该层的操作是将上一层的输出与Add & Norm层的输出相加，然后对相加结果进行归一化处理。Self-Attention层是一种能够捕捉序列中各个位置关联信息的机制，用于提高序列数据处理性能的深度学习层，而Feed-Forward层则是一个简单的全连接前馈网络结构。
Transformer模型的Encoder层利用Self-Attention和Feed-Forward等组件对输入序列进行处理，并通过Add & Norm层来保持信息流的连贯性。这种结构使得Transformer能够有效地提取输入序列的特征信息，从而为后续任务提供更准确的输入。
Transformer模型的Encoder层结构如图5所示。
ALBERT的Fine-tuning方法是一种高效的自然语言序列语义相似度计算方法，将语义相似度任务转化为二分类任务。该方法通过计算相似概率和不相似概率来判断文本之间的相似程度。
首先，将学生答案和参考答案输入到ALBERT模型中进行编码，然后将编码后的结果输入到Softmax函数中：
；
其中，为第/>个节点的输出值，/>为输出节点的个数，即分类的类别个数；/>为为最后一个节点的输出值；/>和/>为以自然常数e为底的指数函数；通过Softmax函数可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布，得到它们的内积表示相似度得分，表示两个文本之间的相似概率；
同时，使用交叉熵损失函数对模型进行训练：
；
其中，为第/>个节点的损失值，/>表示所有类别得分的指数和。通过使用交叉熵损失函数计算出每个类别的损失数，并将其用作分类的依据。
为了提高ALBERT模型对文本语义信息的准确描述能力，本装置引入了两个无监督预训练任务，即掩码语言模型（Masked Language Model，简称MLM）和句子顺序预测（Sentence-Order Prediction，简称SOP）。
在MLM任务中会随机选择输入文本中15%的词，并进行三种形式的替换。其中，80%的被替换词会被特殊标记"Mask"替代，10%的被替换词会被随机选择的其他词替代，而剩下的10%的词则不进行任何替换。这样的设计有助于避免模型过度依赖于训练数据中不存在的"Mask"标记，并使模型在计算词向量时更加依赖上下文信息。
在SOP任务中会从同一文本中提取两个句子A和B，并预测它们的语句顺序。SOP会将正序的A和B作为正例，把改变A和B顺序的情况作为反例。由于同一文本中的句子描述相同主题，因此在同一个文本中选择句子对有助于减少文本主题差异对训练效果的影响。
2）关键词相似度计算
关键词相似度的计算是对学生答案文本和参考答案文本进行关键词提取，然后对提到的关键词序列进行词语相似度的计算。
关键词相似度计算的流程图如图6所示。
本发明使用大规模的语料库，并通过一定的概率模型去计算。这种方法可以利用大量的语料信息来计算词语之间的相似度，即基于同义词词林扩展版，通过基于信息内容词语相似度计算公式计算词语相似度。这种方法可以通过对语料库进行有效的处理和分析，得到词语之间的相似度，从而为关键词相似度的计算提供支持。同时，该方法还可以通过不断更新和扩充语料库来提高计算的准确性和泛化能力，从而更好地支持实际应用场景中的需求。
基于信息内容词语相似度计算公式计算词语相似度，使用的函数如下：
；
其中，MaxDIFF表示词林中词语之间的最大差异性，MinDIF则表示词林中词语之间的最小差异性，dis(c1,c2)表示两个词语之间所在节点之间的距离；当两个词语位于不同大类下的叶子节点时，且它们的最近公共父节点为根节点时，它们之间具有最大差异性；而当两个词语位于同一叶子节点上时，它们之间具有最小差异性，用于计算词语相似度，为关键词相似度的计算提供支持。
3）综合评分
人工在批改学生提交的答案时，通常是先评估学生答案的整体作答情况，然后再查看学生答案中是否具有各个得分点的关键词，最后给出分数。通过参考人工阅卷的评分过程，使用以下函数进行综合评分：
；
其中，Score为主观题学生答案；α和β为超参数，是由实验筛选出的最佳取值；TextSim是利用ALBERT模型得到的文本相似度，取值范围为0~1之间；KeySim是基于同义词词林计算得出的关键词相似度，取值范围也是0~1之间；MaxScore为题目的分值。
3、结果输出与分析模块
结果输出与分析模块是“基于ALBERT模型与RPA技术的主观题评分系统与装置”中的数据总结与分析模块，能够快速生成各种形式的报表和分析图表，通过数据可视化的方式直观地展示学生的评分情况和趋势变化，为学生或阅卷老师提供更加直观、清晰的参考信息。利用RPA技术实现自动化流程，将经过阅卷评分模块评分后的结果进行整合、分析和输出。该模块通过自动化流程消除了繁琐的手工操作，大幅提高了处理数据的效率，并且减少了人为错误的可能性，保证了评分结果的准确性和一致性。
结果输出与分析模块的工作流程图如图7所示。
1）数据整合
“数据整合”主要负责将经过阅卷评分模块评分后的结果进行整合，为后续的数据报表生成和数据分析提供基础。数据整合的目标是将分散的评分数据集中起来，建立一个统一的、结构化的数据存储形式，以便于后续的处理和分析。
数据整合模块采用了RPA（Robotic Process Automation）技术，通过自动化流程实现评分结果的自动抓取、整理和存储。具体而言，数据整合模块包括以下4个环节：
A、数据抓取：主要负责从阅卷评分模块中获取评分结果。通过与阅卷评分模块的接口对接，数据整合模块能够自动获取每个学生的评分数据。在抓取数据的过程中，数据整合模块会进行错误处理和异常处理，确保数据的完整性和准确性。
B、数据清洗：数据清洗是数据整合过程中的重要环节，其目的是检查并纠正数据中的错误和不一致性。数据清洗的任务包括去除重复数据、填补缺失值、处理异常值等。通过数据清洗，可以提高数据的质量，减少后续分析和报表生成过程中的错误。
C、数据转换：数据转换是将原始评分数据转换为可用于分析和报表生成的格式。在数据转换过程中，数据整合模块会根据需求对数据进行格式转换、字段提取、计算衍生指标等操作，以满足后续分析和报表生成的需要。同时，数据转换还可以对数据进行标准化和归一化处理，以便于比较和综合分析。
D、数据存储：数据存储是将整合后的数据保存到数据库或文件系统中，以便于后续查询和使用。数据整合模块可以根据实际需求选择适当的存储方式，如关系型数据库、非关系型数据库或者文件系统。同时，数据存储还应考虑数据的安全性和备份策略，以防止数据丢失和损坏。
2）生成可视化数据报表
“生成可视化数据报表”的主要功能是通过RPA流程自动化流程从整合后的数据集中提取必要的信息，并根据预设的规则和模板快速生成各种形式的报表和分析图表，以直观展示学生的评分情况和趋势变化。生成可视化数据报表模块包括以下3个环节：
A、数据收集：数据收集是生成可视化数据报表的第一步，从阅卷评分模块获取评分结果数据，并对数据进行整理和清洗。
B、数据可视化：通过多种方式展示数据，如柱状图、折线图、饼状图、散点图等，以及数据表格等形式，使得用户可以更加直观、清晰地了解数据的情况和趋势变化。为了提高报表的可读性和易理解性，本装置使用以下三种技术手段：
使用颜色、图例、标签等视觉元素来突出重要信息；
提供数据的上下文解释和说明，以帮助用户正确理解报表内容；
采用动画和过渡效果来引导用户关注重点数据变化。
可视化数据报表能够大大提高数据的可读性和易理解性，并且能够帮助用户更好地进行数据分析和决策。
C、报表生成：在该步骤中需要将可视化图表和数据整合起来生成报表（支持生成的报表类型有：Excel报表、PDF报表、HTML报表等）。
3）数据分析
“数据分析”通过对整合后的评分数据进行深入挖掘和分析，提取有价值的信息和洞察，以支持决策和改进的制定，包括以下2个环节：
A、数据预测：利用历史数据来预测未来趋势和结果的过程，通过回归分析、时间序列分析、机器学习等方法实现。使用回归分析建立评分与其他因素之间的数学模型，预测评分的可能取值范围，并结合机器学习算法来训练评分模型，从而预测学生的评分情况。通过数据预测，可以帮助学生和阅卷老师了解评分的发展趋势和可能的结果，并及时采取相应的措施和调整。
B、数据报告：将数据分析结果以清晰、简洁的方式呈现给用户，通过文字描述对评分数据的特点和趋势进行解释。使用汇总统计对评分数据的整体情况进行总结，帮助学生和阅卷老师更好地理解评分数据的含义和价值，并为决策和改进提供参考。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于ALBERT模型与RPA技术的主观题评分方法，其特征在于，包括以下步骤：
S1、输入待评分的主观题学生答案，以及主观题参考答案；
S2、使用ALBERT模型计算主观题学生答案、主观题参考答案之间的文本语义相似度；
所述ALBERT模型是采用双向Transformer编译器结构的预训练语言模型，ALBERT模型则利用Transformer的Encoder层来提取输入序列的特征信息；Encoder层由Self-Attention层、Feed-Forward层和两个Add & Norm层组成；
在输入向量序列时，Transformer会对每个输入词的位置信息进行向量化，并与原词向量相加，以便让输入词带有位置信息；接下来，Encoder层通过Self-Attention层处理输入序列，计算词与词之间的关系矩阵，并利用加权计算的方式来更新输入序列的词向量；Encoder层利用Self-Attention层和Feed-Forward层对输入序列进行处理，并通过Add &Norm层来保持信息流的连贯性；这种结构使得Transformer能够有效地提取输入序列的特征信息，从而为后续任务提供更准确的输入；
所述ALBERT模型将输入的主观题学生答案、主观题参考答案进行编码，然后将编码后的结果输入到Softmax函数中：
；
其中，为第/>个节点的输出值，/>为输出节点的个数，即分类的类别个数；/>为为最后一个节点的输出值；/>和/>为以自然常数e为底的指数函数；通过Softmax函数可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布，得到它们的内积表示相似度得分，表示两个文本之间的相似概率；
同时，使用交叉熵损失函数对模型进行训练：
；
其中，为第/>个节点的损失值，/>表示所有类别得分的指数和；通过使用交叉熵损失函数计算出每个类别的损失数，并将其用作分类的依据；
S3、同时分别对主观题学生答案、主观题参考答案依次进行分词、提取关键词操作得到主观题学生答案、主观题参考答案的关键词序列，将关键词序列扩展为同义词词林，利用同义词词林计算主观题学生答案、主观题参考答案之间面向得分点的关键词相似度；
所述关键词相似度是基于信息内容词语相似度进行计算，使用的函数如下：
；
其中，MaxDIFF表示词林中词语之间的最大差异性，MinDIF则表示词林中词语之间的最小差异性，dis(c1,c2)表示两个词语之间所在节点之间的距离；当两个词语位于不同大类下的叶子节点时，且它们的最近公共父节点为根节点时，它们之间具有最大差异性；而当两个词语位于同一叶子节点上时，它们之间具有最小差异性，用于计算词语相似度，为关键词相似度的计算提供支持；
S4、综合主观题学生答案、主观题参考答案之间的文本语义相似度、关键词相似度，对主观题学生答案进行综合评分；
所述综合评分使用以下函数进行综合评分：
；
其中，Score为主观题学生答案；α和β为超参数，是由实验筛选出的最佳取值；TextSim是利用ALBERT模型得到的文本相似度，取值范围为0~1之间；KeySim是基于同义词词林计算得出的关键词相似度，取值范围也是0~1之间；MaxScore为题目的分值；
S5、利用RPA技术实现自动化流程，将综合评分后的结果进行输出。
2.根据权利要求1所述基于ALBERT模型与RPA技术的主观题评分方法，其特征在于，步骤S1中，所述主观题学生答案、主观题参考答案先经过文本预处理和数据转换，然后再保存。
3.根据权利要求1所述基于ALBERT模型与RPA技术的主观题评分方法，其特征在于，步骤S2中，所述ALBERT模型引入了两个无监督预训练任务，即掩码语言模型和句子顺序预测；
在掩码语言模型的训练任务中，会随机选择输入文本中15%的词，并进行三种形式的替换；其中，80%的被替换词会被特殊标记"Mask"替代，10%的被替换词会被随机选择的其他词替代，而剩下的10%的词则不进行任何替换；这样的设计有助于避免模型过度依赖于训练数据中不存在的"Mask"标记，并使模型在计算词向量时更加依赖上下文信息；
在句子顺序预测的训练任务中，会从同一文本中提取两个句子A和B，并预测它们的语句顺序；句子顺序预测会将正序的A和B作为正例，把改变A和B顺序的情况作为反例；由于同一文本中的句子描述相同主题，因此在同一个文本中选择句子对有助于减少文本主题差异对训练效果的影响。
4.基于ALBERT模型与RPA技术的主观题评分系统，其特征在于，用于实现实现权利要求1至3中任一权利要求所述基于ALBERT模型与RPA技术的主观题评分方法；包括文本输入模块、阅卷评分模块、结果输出与分析模块；其中，
文本输入模块，输入待评分的主观题学生答案，以及主观题参考答案；
阅卷评分模块，使用ALBERT模型计算主观题学生答案、主观题参考答案之间的文本语义相似度；同时分别对主观题学生答案、主观题参考答案依次进行分词、提取关键词操作得到主观题学生答案、主观题参考答案的关键词序列，将关键词序列扩展为同义词词林，利用同义词词林计算主观题学生答案、主观题参考答案之间面向得分点的关键词相似度；综合主观题学生答案、主观题参考答案之间的文本语义相似度、关键词相似度，对主观题学生答案进行综合评分；
结果输出与分析模块，利用RPA技术实现自动化流程，将综合评分后的结果进行输出。
5.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一段程序，所述程序由所述处理器加载并执行以实现权利要求1至3中任一权利要求所述基于ALBERT模型与RPA技术的主观题评分方法。
6.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述程序由处理器加载并执行以实现权利要求1至3中任一权利要求所述基于ALBERT模型与RPA技术的主观题评分方法。
CN202410025948.6A 2024-01-08 2024-01-08 基于albert模型与rpa技术的主观题评分方法及系统 Active CN117540727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410025948.6A CN117540727B (zh) 2024-01-08 2024-01-08 基于albert模型与rpa技术的主观题评分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410025948.6A CN117540727B (zh) 2024-01-08 2024-01-08 基于albert模型与rpa技术的主观题评分方法及系统

Publications (2)

Publication Number Publication Date
CN117540727A CN117540727A (zh) 2024-02-09
CN117540727B true CN117540727B (zh) 2024-04-12

Family

ID=89796229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410025948.6A Active CN117540727B (zh) 2024-01-08 2024-01-08 基于albert模型与rpa技术的主观题评分方法及系统

Country Status (1)

Country Link
CN (1) CN117540727B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213999A (zh) * 2018-08-20 2019-01-15 成都佳发安泰教育科技股份有限公司 一种主观题评分方法
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110348699A (zh) * 2019-06-20 2019-10-18 广州云夫子信息技术有限公司 主观题自主评分或相互交换评分的方法
CN112906400A (zh) * 2021-02-24 2021-06-04 福建工程学院 一种基于领域本体和语义依存树的主观题自动评分方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213999A (zh) * 2018-08-20 2019-01-15 成都佳发安泰教育科技股份有限公司 一种主观题评分方法
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110348699A (zh) * 2019-06-20 2019-10-18 广州云夫子信息技术有限公司 主观题自主评分或相互交换评分的方法
CN112906400A (zh) * 2021-02-24 2021-06-04 福建工程学院 一种基于领域本体和语义依存树的主观题自动评分方法

Also Published As

Publication number Publication date
CN117540727A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
KR20080021017A (ko) 텍스트 기반의 문서 비교
Fantoni et al. Text mining tool for translating terms of contract into technical specifications: Development and application in the railway sector
Fong et al. What did they do? deriving high-level edit histories in wikis
CN112365372B (zh) 一种面向裁判文书的质量检测及评估方法及系统
CN111858842A (zh) 一种基于lda主题模型的司法案例筛选方法
CN115357719A (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN112883175A (zh) 结合预训练模型及模板生成的气象服务交互方法及系统
CN113065356A (zh) 一种基于语义分析算法的it设备运维故障建议处理方法
CN116610592B (zh) 基于自然语言处理技术的可定制软件测试评价方法及系统
CN116934278A (zh) 一种建筑施工方案审核方法与装置
CN116342167B (zh) 基于序列标注命名实体识别的智能成本度量方法和装置
Alrehily et al. Intelligent electronic assessment for subjective exams
Firmawan et al. Bidirectional long short-term memory for entailment identification in requirement specifications using information from Use Case diagrams
CN117540727B (zh) 基于albert模型与rpa技术的主观题评分方法及系统
CN116186422A (zh) 基于社交媒体和人工智能的疾病相关舆情分析系统
CN103019924B (zh) 输入法智能性评测系统和方法
CN113326348A (zh) 一种博客质量评估方法及工具
Labin et al. AI-driven contract review: A product development journey
CN117454906B (zh) 一种基于自然语言处理和机器学习的文字校对方法与系统
CN117875706A (zh) 一种基于ai的评级工艺数字化管理方法
CN109670184B (zh) 一种英文文章质量评估方法及系统
Peng et al. Readability assessment for Chinese L2 sentences: an extended knowledge base and comprehensive evaluation model-based method
Hasan et al. Evaluating Educational Intervention Fidelity with TranscriptSim, A Replicable NLP Technique
CN118035712A (zh) 一种基于nlp的数据收集合规识别方法
Soni et al. Essay Tone Detector sentiment analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant