CN116227500A - 一种评分方法、装置、设备及存储介质 - Google Patents

一种评分方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116227500A
CN116227500A CN202310242650.6A CN202310242650A CN116227500A CN 116227500 A CN116227500 A CN 116227500A CN 202310242650 A CN202310242650 A CN 202310242650A CN 116227500 A CN116227500 A CN 116227500A
Authority
CN
China
Prior art keywords
scoring
layer
capsule
result
capsule layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310242650.6A
Other languages
English (en)
Inventor
薛嗣媛
许晗媞
张凯
周建设
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202310242650.6A priority Critical patent/CN116227500A/zh
Publication of CN116227500A publication Critical patent/CN116227500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种评分方法、装置、设备及存储介质，涉及评分方法技术领域，包括获取第一信息；利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果；根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。本发明的有益效果为通过不断迭代的特性确定低层胶囊和高层胶囊层之间的连接强度来学习层次结构特征，汇总更多有用的信息，融合胶囊神经网络构建作文评分模型，以期弥补预训练语言模型的缺陷，增强作文文本语义信息的提取能力。

Description

一种评分方法、装置、设备及存储介质
技术领域
本发明涉及评分方法技术领域，具体而言，涉及一种评分方法、装置、设备及存储介质。
背景技术
作文自动评分是一个教育应用程序，旨在利用机器自动评估学生作文。作文自动评分模型包括传统特征工程的方法和基于预训练语言模型的方法。但是，局限性在于此类模型只关注表层的语言符号，在处理复杂的语义时系统使用效果较差，并且预训练语言模型应用于作文自动评分任务，但结果却未能超过其他DNN模型，其原因为作文长度接近于预训练语言模型的长度限制，限制了模型对于作文文本的学习能力，所以容易造成信息表征缺失。
发明内容
本发明的目的在于提供一种评分方法、装置、设备及存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了基于胶囊神经网络的评分方法，包括：
获取第一信息，所述第一信息包括带有多个单词的文本；
利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；
根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；
基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；
通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
优选地，所述利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中包括：
对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；
将所述词汇标记进行转换，得到多个词向量；
将多个所述词向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；
将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。
优选地，所述基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性，其中包括：
初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；
根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；
将语义向量与预设的耦合系数进行加权求和并输出，得到输出结果；
采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。
优选地，所述通过多重损失函数中的排序损失函数，其中包括：
将多个所述第一信息进行排序，计算得到最优排序概率；
将所述最优排序概率、预设的预测分数列表和真实分数列表进行结合优化，得到优化结果；
利用回归函数和排序损失函数，对所述优化结果进行迭代计算，得到优化后的超参数。
第二方面，本申请还提供了基于胶囊神经网络的评分装置，包括：
获取模块：用于获取第一信息，所述第一信息包括带有多个单词的文本；
预处理模块：用于利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；
计算模块：用于根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；
提取模块：用于基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；
评分模块：用于通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
第三方面，本申请还提供了基于胶囊神经网络的评分设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于胶囊神经网络的评分方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于基于胶囊神经网络的评分方法的步骤。
本发明的有益效果为：
本发明基于胶囊网络可以捕捉“部分到整体”结构之间的内在空间关系，从而自动归纳出新的信息点，胶囊网络中的动态路由机制可以通过不断迭代的特性确定低层胶囊和高层胶囊层之间的连接强度来学习层次结构特征，从而汇总更多有用的信息。
本发明融合胶囊神经网络构建作文评分模型，以期弥补预训练语言模型的缺陷，增强作文文本语义信息的提取能力。
本发明使用胶囊向量代替标量神经元实现长文本的表征，挖掘文本的空间特性与上下文特征，提高了预训练模型对中长文本的建模能力。
本发明应用预先训练的语言模型增强的胶囊神经网络，并采用多重损失函数构建作文自动评分模型。通过在ASAP上的结果表明，融合胶囊网络架构的作文评分模型能够有效提升预测的准确率，平均QWK值显著提到并达到了最优结果。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于胶囊神经网络的评分方法流程示意图；
图2为本发明实施例中所述的基于胶囊神经网络的评分装置结构示意图；
图3为本发明实施例中所述的基于胶囊神经网络的评分设备结构示意图。
图中:701、获取模块；702、预处理模块；7021、标记单元；7022、转换单元；7023、发送单元；7024、训练单元；703、计算模块；704、提取模块；7041、转化单元；7042、调整单元；7043、第一计算单元；7044、处理单元；705、评分模块；7051、排序单元；7052、优化单元；7053、第二计算单元；800、基于胶囊神经网络的评分设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了基于胶囊神经网络的评分方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
S100、获取第一信息，所述第一信息包括带有多个单词的文本。
可以理解的是，在本步骤中需要给定一篇带有L个单词
Figure BDA0004124771970000061
的文章，本文需要训练一个稳健的作文评分模型来预测写作分数y。其中需要说明的是，作文自动评分系统包含两个模块，即作文的文本语义表征和论文评分预测模型构建。
S200、利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器。
可以理解的是，在S200步骤中包括S201、S202、S203和S204，其中：
S201、对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；
需要说明的是，BERT预训练语言模型采用双向transformer编码器作为特征提取器，深度学习了词汇的上下文信息。因此，我们利用BERT模型对文本进行预学习。给定一篇文章D＝{w1,w2,...,wL}，其中L是文本长度。BERT首先对输入文本做词向量的嵌入表示，在每一篇文章的开始时添加一个特殊的标记([CLS])，即D′＝{[CLS],w1,w2,...,wL}。S202、将所述词汇标记进行转换，得到多个词嵌入向量；
S203、将多个所述词嵌入向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所有文章的表征都是映射到[CLS]的输出向量。所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；
需要说明的是，每个词汇标记都被转换为词向量发送到BERT模型中进行词嵌入编码。BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入。S204、将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。
需要说明的是，编码后，将隐藏向量送入两个无监督任务中进行上下文语义的学习，分别是掩码语言模型和下一句预测。掩码语言模型(Masked language model)通过对单词的随机遮盖，使得模型能够迅速习得单词的上下文语境。下一句预测(Next SentencePrediction)是通过判断下一句是否为前一句的下一句捕捉句子对之间的逻辑。经过预训练后的BERT模型的输出H可以表示为下式：
Figure BDA0004124771970000071
其中，Bert(·)表示利用预训练语言模型表征文本语义。D′为模型输入文本，L为模型最大输入填充长度，DH为隐藏向量维度。此外，由于多头自注意力机制(Multi-HeadSelf Attention Mechanism)能够很好地捕捉长序列信息，且具有速度快、可解释性强等特点，现已广泛应用于自然语言处理等领域。
S300、根据多头自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层。
可以理解的是，自注意力算法可以捕获同一个句子中单词之间的语义特征。在本步骤中,采用了多头自注意机制自适应的捕捉更具有价值的语义信息，并给重点信息分配更高的权重。自注意力机制中权重A的计算如下：
A＝Softmax(Wstanh(Ws2HT)) (2)
其中，tanh为激活函数，
Figure BDA0004124771970000072
和
Figure BDA0004124771970000073
代表权重矩阵可以在模型训练中进行优化，HT表示BERT模型输出的作文表征矩阵。DH为隐藏向量的维度，R是自注意力机制的头数量。那么，原始的输入序列进行多组的自注意力处理过程可以写成如下：
M＝AH (3)
其中，A是文本信息的注意力权重值，将注意力分数与作文表征向量H相乘，得到带有注意力权重的作文文本语义特征M。
因此强化了语义信息的作文文本表征向量即可以写成
Figure BDA0004124771970000081
Figure BDA0004124771970000082
之后将传输此表征向量高级胶囊网络中学习高级语义信息。
S400、基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性。
需要说明的是，胶囊网络可以通过路由协议机制来捕捉部分-整体结构之间的内在空间关系，有效提取上下文中隐含的语义信息，使表征模型能够具备更强的学习能力，这一点也表明了胶囊网络在NLP任务中的潜力。基于此，本文构建高层胶囊网络实现深层语义的学习。
胶囊网络由表征不同的低层胶囊及高层胶囊组成。低层胶囊通过动态路由算法的不断更新计算得到对应的权重矩阵，并与低层胶囊的输入共同决定高层胶囊的输出。权重矩阵通过压缩函数得到高层表示，最终的胶囊表示由所有高层胶囊拼接起来得到。
可以理解的是，在S400步骤中包括S401、S402、S403和S404，其中：
S401、初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；
需要说明的是，首先，M＝{m1,m2,...,mr}是初级胶囊网络学习输出的作文表征向量，mi是初级胶囊网络学习输出的作文表征向量。通过非线性函数将mi转化为预测向量ui|j：
Figure BDA0004124771970000091
其中，第l层的每个胶囊i(其中1≤i≤N)有一个活动向量
Figure BDA0004124771970000092
Figure BDA0004124771970000093
以实例化参数的形式编码空间信息。第i个下层胶囊的输出向量mi被送入下一层l+1的所有胶囊。第l+1层的第j个胶囊将接收mi并找到它与相应的权重矩阵wij的乘积。得到的向量
Figure BDA0004124771970000094
是l层的胶囊i对l+1层的胶囊j所代表的实体的转化。
Figure BDA0004124771970000095
表示主胶囊i对类胶囊j的贡献程度,Wij是权重参数。S402、根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；
需要说明的是，设置cij为耦合系数代表初级胶囊和高级胶囊之间的相关性。通过多次迭代调整权值，初始化参数bij为0，为确保输入层与输出层之间系数之和为1，采用softmax函数归一化，公式(5)所示。
Figure BDA0004124771970000096
S403、将预测向量
Figure BDA0004124771970000097
与预设的耦合系数进行加权求和并输出，得到输出结果；预测向量与代表这些胶囊之间一致性的耦合系数进行乘积，以获得单个低层胶囊i对高层胶囊j的预测结果。因此，耦合系数将增加，否则将减少。计算所有这些单独的低层胶囊预测对高层胶囊j的加权和vj，具体见公式(6)所示。
Figure BDA0004124771970000098
其中，胶囊向量的方向表示内部的空间结构，胶囊向量的模长表示特征的重要性。
S404、采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。。需要说明的是，为了不丢失其空间特征，采用压缩函数squash归一化输出高级胶囊vk，在不改变输出向量方向的同时，压缩模长得出vj，确保来自胶囊的输出长度位于0和1之间，具体见公式(7)所示。
Figure BDA0004124771970000101
最后，通过更新输出向量与预测向量之间的相关性更新权重bij，则实现一次路由迭代，具体见公式(8)所示。
Figure BDA0004124771970000102
通过多次路由迭代，耦合系数cij探索初级胶囊和高级胶囊之间的相关联系。在每次迭代中，通过寻找
Figure BDA0004124771970000103
和vk的点乘来更新。当语义向量mi与输出vk胶囊方向趋向一致时，相似度较高，增加对应的耦合系数cij，增加语义信息的权重bij，挖掘更多初级胶囊和高级胶囊之间的隐藏联系。
S500、通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
需要说明的是，本发明基于回归的训练方法指的是通过建立线性回归方程的方式，将写作质量相关的语言特征作为变量，制定一个评估文本质量的公式以预测分数。
回归训练方法的优势自在于，机器评测能够更好溯源，提供具体维度的反馈意见。基于排序的训练方法将AES视为排序任务，通过构建比较器进行排序实现评估，排序法的优势在于，相较于绝对分数，文本之间的相对性比较和判别将会更加符合人类判断时的实际认知行为。同时，排序法的模型训练对于数据标注依赖较低，当无法明确给出评价体系时，排序法可以减少数据标注阶段的难度。
不同的优化方法也可以给最终的总分评估带来多样性，所以本实施例采用排序损失方法和回归损失方法对联合优化作文自动评分模型。
可以理解的是，在S500步骤中包括S501、S502和S503，其中：
S501、将多个所述第一信息进行排序，计算得到最优排序概率；
S502、将所述最优排序概率、预设的预测分数列表和真实分数列表进行结合优化，得到优化结果；
S503、利用回归损失函数和排序损失函数，对所述优化结果进行迭代计算，得到优化后的超参数。
需要说明的是，本实施例中采用的均方误差是作文自动评分任务中常用的损失函数，测量预测分数和标签之间的平方误差的平均值。首先，我们将作文表征输入一个全连接网络中进行线性映射，可以写成：
y＝σ(Wvk+b) (10)
其中，σ是sigmoid激活函数，归一化分数为[0,1]的区间，W是权重矩阵，b是偏值。回归损失函数可以写为如下式：
Figure BDA0004124771970000111
式中，LMSE是预测标签和原始标签对应点误差的平方和的均值，yi是第i篇文章的真实值，
Figure BDA0004124771970000112
是第i篇文章的预测值，N是样本数量。
排序损失函数对每个批次内的目标列表进行排序，并测量预测排序列表与真实标签之间的一致性。假设给定N篇文章{1,2,...,N},文章排序可以写作π＝<π(1),π(2),...,π(N)>,π(i)指的是指的是排列中第i位置的文章。在每一个训练批次中，任何排列组合都是可能的。假设批次大小为m，所有可能的排列组合可以标记为Ωm。批次内第i篇文章的预测评分可以写作
Figure BDA0004124771970000113
Φ(·)是一个递增正函数，对每个批次内的预测分数排序。因此，在给定的分数列表s的情况下，排列组合的概率π定义如下：
Figure BDA0004124771970000121
式中，
Figure BDA0004124771970000122
是批次中文章j的预测分数，
Figure BDA0004124771970000123
是对预测分数进行递增排序，π∈Ωm构成了一个关于排列组合的概率分布,每一个π∈Ωm，
Figure BDA0004124771970000124
且
Figure BDA0004124771970000125
因此，最优排序的概率可以被定义为公式(13)，j是指该批文章中的每一篇文章，那么一个训练批次中的最优排序概率
Figure BDA00041247719700001211
可以写作：
Figure BDA0004124771970000126
式中，
Figure BDA0004124771970000127
是文章j的预测分数，j＝1,2,...,m，
Figure BDA0004124771970000128
是文章j的预测分数的排序，n是样本数量。
结合最优排序概率，以及预测分数列表和真实分数列表。我们使用交叉熵来表示预测分数列表和真实分数列表之间的距离并逐步进行优化，具体可以写作：
Figure BDA0004124771970000129
式中，CrossEntropy(·)将回归损失和排序损失的整体组合作为最终的损失函数。
Figure BDA00041247719700001210
是批次中预测值的排序概率，Py(j)是批次中真实值的排序概率。
Loss＝αLMSE+(1-α)LCE (15)
式中，α是回归损失函数的权重，1-α是交叉墒的权重。模型优化的关键问题是确定每个损失的比重。α是调节两个损失函数的超参数。在实际情况中，批量排名的方式不能宏观考虑全局评分情况，容易陷入局部最优解。基于此，公式(16)的作用在于在训练过程中能够逐渐增加回归损失的权重。
Figure BDA0004124771970000131
式中，E是迭代的次数，e是当前批次的值，γ为超参数。随着迭代次数增加，exp(γ(E/2-e)越小，α的值越大，LMSE随迭代次数增加权重增高，LCE随迭代次数增加权重减小。
实施例2：
如图2所示，本实施例提供了基于胶囊神经网络的评分装置，参见图2所述装置，包括：
获取模块701：用于获取第一信息，所述第一信息包括带有多个单词的文本；
预处理模块702：用于利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；
计算模块703：用于根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；
提取模块704：用于基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；
评分模块705：用于通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
具体地，所述预处理模块702，其中包括：
标记单元7021：用于对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；
转换单元7022：用于将所述词汇标记进行转换，得到多个词向量；
发送单元7023：用于将多个所述词向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；
训练单元7024：用于将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。
具体地，所述提取模块704，其中包括：
转化单元7041：用于初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；
调整单元7042：用于根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；
第一计算单元7043：用于将语义向量与预设的耦合系数进行加权求和并输出，得到输出结果；
处理单元7044：用于采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。
具体地，所述评分模块705，其中包括：
排序单元7051：用于将多个所述第一信息进行排序，计算得到最优排序概率；
优化单元7052：用于将所述最优排序概率、预设的预测分数列表和真实分数列表进行结合优化，得到优化结果；
第二计算单元7053：用于利用回归函数和排序损失函数，对所述优化结果进行迭代计算，得到优化后的超参数。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了基于胶囊神经网络的评分设备，下文描述的基于胶囊神经网络的评分设备与上文描述的基于胶囊神经网络的评分方法可相互对应参照。
图3是根据示例性实施例示出的基于胶囊神经网络的评分设备800的框图。如图3所示，该基于胶囊神经网络的评分设备800可以包括：处理器801，存储器802。该基于胶囊神经网络的评分设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于胶囊神经网络的评分设备800的整体操作，以完成上述的基于胶囊神经网络的评分方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于胶囊神经网络的评分设备800的操作，这些数据例如可以包括用于在该基于胶囊神经网络的评分设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于胶囊神经网络的评分设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，基于胶囊神经网络的评分设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于胶囊神经网络的评分方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于胶囊神经网络的评分方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于胶囊神经网络的评分设备800的处理器801执行以完成上述的基于胶囊神经网络的评分方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的基于胶囊神经网络的评分方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于胶囊神经网络的评分方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
实施例5
在本实施例中，可以通过实验来进一步论证，融合胶囊网络架构的作文评分模型能够有效提升预测的准确率，平均QWK值显著提到并达到了最优结果。内容如下：
ASAP数据集被广泛用于作文自动评分任务中，它有12,976篇论文和8个不同的提示。每篇文章都是由7-10年级的学生撰写的。评分都是经过两个数据员背靠背打分构成的。每篇语料的平均长度为150-550个字。数据集的细节如表1所示。此外，本文采用QuadraticWeighted Kappa(QWK)作为评价标准。QWK度量通常用于作文自动评分任务，用来评估机器评分和认为评分之间的一致性QWK公式可写作：
Figure BDA0004124771970000171
式中，矩阵O和矩阵E分别是观察到的和预期的分数矩阵，而W表示权重。i表示人类注释者评分和j表示机器评分。权重矩阵可写为下式：
Figure BDA0004124771970000181
式中，i是真实标签向量，j是预测标签向量，N是可能的分数数量。QWK分数的范围是0到1。分数越高，机器和人之间就越接近。
如下表1所示：
表1ASAP数据库信息统计
Figure BDA0004124771970000182
在实验过程中，将列出具体的参数细节，在之前的研究中，BERT模型已经被证实在自然语言处理任务上的有效性。初级胶囊网络层中，本文选择了“bert-base-uncased”12层768维的英文BERT模型“预训练+微调”文本以获得词嵌入。在训练中，每个数据集的文章的长度被填充为L＝512。在训练阶段，我们冻结了BERT模型的所有层，只保留最后一层进行下游的评分任务。在自注意力机制部分，多头的参数选择为3。动态路由的迭代次数最终设置为3。训练过程中，设置训练批次数为32，调整学习率为4e-5，平衡两个损失函数的公式中的γ设置为0.9。为了避免过拟合，每个数据集采用的dropout为0.1。
用本实施例中提出的方法与最先进的基线实验结果作文自动评分模型进行比较。具体包括以下内容：
表2不同模型的结果比较
Figure BDA0004124771970000191
EASE：EASE系统通过手工特征构建特征表示体系，最终利用回归模型来预测论文分数。
CNN+LSTM：模型框架由一个具有独特热表示的查找层、一个卷积层(CNN)、一个递归层(RNN)和一个池层组成来获得文本语义向量，然后使用Sigmoid激活的全连接层来输出文章分数。
SKIPFLOW：本研究利用深度神经网络捕获语义和相干特征文章，获得更好的性能。
TLSF：此实验使用连贯性、语义信息等其余本文使用使用BERT嵌入的相干性、语义学和相关性特征，并使用SVM分类器评估文章。
R2BERT：这种方法为作文自动评分任务的语言模型找到了一种新的微调方法，获得了最先进的结果。该模型受回归损失和排序损失的约束，并与动态组合联合进行优化。如下表2所示：
表2中包含提出的模型的结果，称为R2ACN。本节在ASAP数据库进行模型验证，并利用消融实验对实验中的影响因素进行细粒度分析。其中，ACN指模型单独使用回归损失后的结果。ACN指模型单独使用排序损失后的结果。本文以粗体突出的方式显示每个主题下的最优评估结果。通过实验结果可以看到，R2ACN模型在提示语1、提示语5、提示语7和提示语8中获得了更好的表现，这证明了所提出的模型是有效的，本模型QWK的平均值表示R2ACN能够达到在公开数据集上的最优结果。
对比R2ACN相比可验证融合胶囊网络模型的效果。实验结果表明，R2ACN模型只利用预训练语言模型对作文文本表征，之后通过回归和排序任务对模型进行优化。本文通过进一步融合胶囊神经网络“局部-整体”的语义内在空间关系，改进了模型对作文语义的信息获取，优化了作文重要信息的提取能力，在下游任务中，增强了预训练语言模型的预测能力。
本发明是基于胶囊神经网络的评分方法，应用预先训练的语言模型增强的胶囊神经网络，并采用多重损失函数构建作文自动评分模型。通过在ASAP上的结果表明，融合胶囊网络架构的作文评分模型能够有效提升预测的准确率，平均QWK值显著提到并达到了最优结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种评分方法，其特征在于，包括：
获取第一信息，所述第一信息包括带有多个单词的文本；
利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；
根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；
基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；
通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
2.根据权利要求1所述的一种评分方法，其特征在于,所述利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中包括：
对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；
将所述词汇标记进行转换，得到多个词向量；
将多个所述词向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；
将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。
3.根据权利要求1所述的一种评分方法，其特征在于，所述基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性，其中包括：
初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；
根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；
将语义向量与预设的耦合系数进行加权求和并输出，得到输出结果；
采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。
4.根据权利要求1所述的一种评分方法，其特征在于，所述通过多重损失函数中的排序损失函数，其中包括：
将多个所述第一信息进行排序，计算得到最优排序概率；
将所述最优排序概率、预设的预测分数列表和真实分数列表进行结合优化，得到优化结果；
利用回归函数和排序损失函数，对所述优化结果进行迭代计算，得到优化后的超参数。
5.一种评分装置，其特征在于，包括：
获取模块：用于获取第一信息，所述第一信息包括带有多个单词的文本；
预处理模块：用于利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；
计算模块：用于根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；
提取模块：用于基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；
评分模块：用于通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。
6.根据权利要求5所述的一种评分装置，其特征在于，所述预处理模块，其中包括：
标记单元：用于对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；
转换单元：用于将所述词汇标记进行转换，得到多个词向量；
发送单元：用于将多个所述词向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；
训练单元：用于将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。
7.根据权利要求5所述的一种评分装置，其特征在于，所述提取模块，其中包括：
转化单元：用于初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；
调整单元：用于根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；
第一计算单元：用于将语义向量与预设的耦合系数进行加权求和并输出，得到输出结果；
处理单元：用于采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。
8.根据权利要求5所述的一种评分装置，其特征在于，所述评分模块，其中包括：
排序单元：用于将多个所述第一信息进行排序，计算得到最优排序概率；
优化单元：用于将所述最优排序概率、预设的预测分数列表和真实分数列表进行结合优化，得到优化结果；
第二计算单元：用于利用回归函数和排序损失函数，对所述优化结果进行迭代计算，得到优化后的超参数。
9.一种评分设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的评分方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的评分方法的步骤。
CN202310242650.6A 2023-03-14 2023-03-14 一种评分方法、装置、设备及存储介质 Pending CN116227500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310242650.6A CN116227500A (zh) 2023-03-14 2023-03-14 一种评分方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310242650.6A CN116227500A (zh) 2023-03-14 2023-03-14 一种评分方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116227500A true CN116227500A (zh) 2023-06-06

Family

ID=86589045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310242650.6A Pending CN116227500A (zh) 2023-03-14 2023-03-14 一种评分方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116227500A (zh)

Similar Documents

Publication Publication Date Title
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN110598779B (zh) 摘要描述生成方法、装置、计算机设备和存储介质
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN108647233B (zh) 一种用于问答系统的答案排序方法
CN107836000A (zh) 用于语言建模和预测的改进的人工神经网络
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN112926322A (zh) 融合自注意力机制和深度学习的文本分类方法及系统
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112699222B (zh) 基于量子启发式神经网络的文本分类方法及邮件分类方法
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
Zhang et al. A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN114298053A (zh) 一种基于特征和注意力机制融合的事件联合抽取系统
Chen et al. Deep neural networks for multi-class sentiment classification
CN115422369B (zh) 基于改进TextRank的知识图谱补全方法和装置
CN113157919A (zh) 语句文本方面级情感分类方法及系统
CN115935991A (zh) 多任务模型生成方法、装置、计算机设备和存储介质
Madukwe et al. A ga-based approach to fine-tuning bert for hate speech detection
CN113887836B (zh) 一种融合事件环境信息的叙述性事件预测方法
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
CN109670169B (zh) 一种基于特征提取的深度学习情感分类方法
Varshitha et al. Natural language processing using convolutional neural network
US20220138425A1 (en) Acronym definition network
KR20210094324A (ko) 속성 맵을 이용한 속성 기반 감정 분석 방법 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination