CN117078472A - 一种语言能力发展评估方法、装置、设备及存储介质 - Google Patents

一种语言能力发展评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117078472A
CN117078472A CN202311058097.7A CN202311058097A CN117078472A CN 117078472 A CN117078472 A CN 117078472A CN 202311058097 A CN202311058097 A CN 202311058097A CN 117078472 A CN117078472 A CN 117078472A
Authority
CN
China
Prior art keywords
text
representation
enhanced
current
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311058097.7A
Other languages
English (en)
Inventor
蒋盛益
武洪艳
林楠铠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN202311058097.7A priority Critical patent/CN117078472A/zh
Publication of CN117078472A publication Critical patent/CN117078472A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种语言能力发展评估方法、装置、设备及存储介质。该方法包括，获取待评估对象的历史文本和当前文本，并对历史文本和当前文本进行拼接；将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；将历史文本和当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；通过相似度表征学习方法计算增强的历史文本表示和增强的当前文本表示之间的信息相似度；计算语言发展评估预测概率并对待评估对象进行语言能力发展评估。本发明可以使模型更好地理解文本之间的依赖关系和语境，帮助模型在处理长文本时更好地捕捉关键信息，避免信息的丢失或模糊，从而提高模型的性能和效果。

Description

一种语言能力发展评估方法、装置、设备及存储介质
技术领域
本发明涉及计算机信息处理领域，尤其涉及一种语言能力发展评估方法、装置、设备及存储介质。
背景技术
语言能力发展评估任务旨在判断同一学生在不同时间所写的不同文章的时间先后顺序，现有的研究主要分成两种类型，一种是基于语言特征构建语言能力发展评估模型，以根据构建好的模型进行语言能力发展评估，例如，利用从学生的书面表达中自动提取的各种语言特征来跟踪语言学习者书面语言能力的演变，再例如，依赖于捕捉文本风格方面的一系列语言动机特征，基于自然语言处理的风格测量方法跟踪语言学习者书面语言能力的演变；另一种是基于神经网络构建语言能力发展评估模型构建，以根据构建好的模型进行语言能力发展评估。
然而，现有技术中基于语言特征的方法依赖于语言特征的构建，缺乏语言扩展性，基于神经网络的方法没有考虑文本之间的信息交互，导致在进行语言能力发展评估时，不能适应各种语言的差异和文本之间的依赖关系，使语言能力发展评估结果准确性较低。
发明内容
本发明实施例所要解决的技术问题是：提供了一种语言能力发展评估方法、装置、设备及存储介质，通过基于顺序信息的注意力机制，构建一个具有语言扩展性的方法，不依赖于特定的语言特征，增强文本之间的信息交互，从而提高语言能力发展评估结果的准确性。
为了解决上述技术问题，第一方面，本发明实施例提供一种语言能力发展评估方法，包括：
获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
进一步地，所述将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示，包括：
基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；
基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示。
所述基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示，包括：
根据公式w1＝softmax(Ha·(Hb)T)计算所述当前文本对所述历史文本的第一注意力权重；
根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；
根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；
其中，w1为所述第一注意力权重，Ha为历史文本语义表示，Hb为当前文本语义表示，(Hb)T为所述当前文本语义表示的转置，为所述更新后的历史文本，/>为所述增强的历史文本表示。
所述基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示，包括：
根据公式w2＝softmax(Hb·(Ha)T)计算所述历史文本对所述当前文本的第二注意力权重；
根据公式使用所述第二注意力权重对所述当前文本进行更新，得到更新后的当前文本；
根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；
其中，w2为所述第二注意力权重，Ha为历史文本语义表示，Hb为当前文本语义表示，(Ha)T为所述历史文本语义表示的转置，为所述更新后的当前文本，/>为所述增强的当前文本表示。
进一步地，所述通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度，具体为：
根据公式计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
其中，Wg是一个全局参数矩阵，|·|2、||·||2分别表示元素的平方和L2范数，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度。
进一步地，所述根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率，包括：
将所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度拼接起来，得到语句的整体特征表示hc如下：
将所述语句的整体特征表示hc馈送到具有softmax函数的线性分类器中，得到语言发展评估预测概率y如下：
y＝softmax(WT·hc+b)；
其中，h[u]为所述基于文本的语义表示中的具有预设标记的语义表示，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度，W和b是可学习的参数，WT为W的转置。
进一步地，所述语言发展评估预测概率包括第一预测概率和第二预测概率，所述第一预测概率表示所述当前文本的书写时间在所述历史文本之前的预测概率，所述第二预测概率表示所述当前文本的书写时间在所述历史文本之后的预测概率；
所述根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估，包括：
比较第一预测概率和第二预测概率的大小；
若第一预测概率大于第二预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之前；
若第二预测概率大于第一预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之后。
为了解决上述技术问题，第二方面，本发明实施例提供一种语言能力发展评估装置，包括：
文本获取模块，用于获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
编码处理模块，用于将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
文本更新模块，用于将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
相似度表征模块，用于通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
概率计算模块，用于根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
评估模块，根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
为了解决上述技术问题，第三方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序；
其中，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的语言能力发展评估方法。
为了解决上述技术问题，第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现上述第一方面任一项所述的语言能力发展评估方法。
与现有技术相比，本发明实施例提供的一种语言能力发展评估方法、装置、设备及存储介质，其有益效果在于：通过预训练模型对输入文本进行编码，采用基于顺序信息的注意力机制捕捉文本序列中的交互，得到增强的历史文本表示和所述增强的当前文本表示，通过相似度向量来表征两者之间的信息相似度，进而对语言能力发展进行最终评估，本发明能够处理不同语言的文本数据，而无需依赖于具体的语言规则或特征，通过使用预训练模型，可以从中获得关于语言结构、语义和上下文的深层次知识，从而提升模型的表现能力，通过引入注意力机制，可以使模型更好地理解文本之间的依赖关系和语境，还可以帮助模型在处理长文本时更好地捕捉关键信息，避免信息的丢失或模糊，从而提高模型的性能和效果。
附图说明
为了更清楚地说明本发明实施例的技术特征，下面将对本发明实施例中所需要使用的附图做简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种语言能力发展评估方法的一个优选实施例的流程示意图；
图2是本发明提供的一种语言能力发展评估装置的一个优选实施例的结构示意图；
图3是本发明提供的一种电子设备的一个优选实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明实施例提供了一种语言能力发展评估方法，参见图1所示，为本发明提供的一种语言能力发展评估方法的一个优选实施例的流程示意图。
如图1所示，所述方法包括如下步骤：
S1：获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
S2：将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
S3：将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
S4：通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
S5：根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
S6：根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
在具体实施时，首先，获取待评估对象的历史文本和当前文本/>使用两个特殊的标记u和v将它们拼接在一起得到文本其中n和m分别表示两个文本的长度，u和v是两个特殊的标记符号，u用于表示输入文本序列的开始，v用于分隔两个文本或表示单个文本的结束；接着，将拼接后的文本输入到预训练语言模型进行编码，生成基于文本的语义表示，预训练模型对文本输入T进行编码得到语义表示H：
H＝Encoder(T)
具体地，预训练模型可以使用BERT模型，u可以采用BERT模型中的[CLS]标记，v可以采用BERT模型中的[SEP]标记，BERT(Bidirectional Encoder Representation fromTransformers)是一种非自回归预训练模型，在预训练阶段对大量语料库进行无监督训练。训练过程具体采用交叉熵损失函数 交叉熵损失用于衡量分类模型的性能，交叉熵损失随着预测概率与实际标签的偏离而增加，e是文本的实际期望值的one-hot编码，e1＝{1，0}表示文本Tb的书写时间在文本Ta之前，e2＝{0，1}表示文本Tb的书写时间在文本Ta之后，y1表示所述当前文本Tb的书写时间在所述历史文本Ta之前的概率，y2表示所述当前文本Tb的书写时间在所述历史文本Ta之后的概率，j为下标，j＝1或2。
其中Encoder为多层双向变压器解码器，用于将文本编码为基于文本的语义表示，编码后可以得到：
其中，历史文本Ta和当前文本Tb的语义表示分别为：
其中h[u]表示句子中与标记u相关的语义表示，h[v]表示句子中与标记v相关的语义表示，z为语义表示的维度。
基于顺序信息的注意力机制专门用于开发文本之间的信息交互，将所述历史文本和所述当前文本经过计算，得到增强的历史文本表示和增强的当前文本表示；接着通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度，衡量两者之间的相似信息；最后根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度，经过神经网络中的全连接层，计算得到语言发展评估预测概率，根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
综上所述，本发明实施通过使用预训练模型，可以从中获得关于语言结构、语义和上下文的深层次知识，从而提升模型的表现能力，通过引入注意力机制，可以使模型更好地理解文本之间的依赖关系和语境，还可以帮助模型在处理长文本时更好地捕捉关键信息，避免信息的丢失或模糊，从而提高模型的性能和效果。
在一个优选实施例中，步骤S3具体包括：
S301：基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；
S302：基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示。
具体地，注意力机制是深度学习领域中的一种重要技术，基本原理是通过对输入数据进行加权处理，不同部分赋予不同的权重，以便更精准地关注重要的信息，第一注意力权重为当前文本对历史文本的关注权重，第二注意力权重为历史文本对当前文本的关注权重。
作为上述方案的改进，步骤S301具体包括：
根据公式w1＝softmax(Ha·(Hb)T)计算所述当前文本对所述历史文本的第一注意力权重；
根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；
根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；
其中，w1为所述第一注意力权重，Ha为历史文本语义表示，Hb为当前文本语义表示，(Hb)T为所述当前文本语义表示的转置，为所述更新后的历史文本，/>为所述增强的历史文本表示。
作为上述方案的改进，步骤S302具体包括：
根据公式w2＝softmax(Hb·(Ha)T)计算所述历史文本对所述当前文本的第二注意力权重；
根据公式使用所述第二注意力权重对所述当前文本进行更新，得到更新后的当前文本；
根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；
其中，w2为所述第二注意力权重，Ha为历史文本语义表示，Hb为当前文本语义表示，(Ha)T为所述历史文本语义表示的转置，为所述更新后的当前文本，/>为所述增强的当前文本表示。
在一个优选实施例中，步骤S4具体包括：
根据公式计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
具体地，相似度表征学习方法与传统的直接计算文本向量的相似度得分不同，旨在学习一个抽象的相似度表征，来衡量两个文本之间的相似信息，Wg是一个全局参数矩阵，|·|2、||·||2分别表示元素的平方和L2范数，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度。
在一个优选实施例中，步骤S5具体包括：
将所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度拼接起来，得到语句的整体特征表示hc如下：
将所述语句的整体特征表示hc馈送到具有softmax函数的线性分类器中，得到语言发展评估预测概率y如下：
y＝softmax(WT·hc+b)；
具体地，softmax函数可以理解为逻辑回归分类器面对多个分类的一般化归纳，将原始分类变成正的归一化数值，所有数值之和为1，h[u]表示句子中与标记u相关的语义表示，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度，W和b是可学习的参数，WT为W的转置。
在一个优选实施例中，步骤S6具体包括：
所述语言发展评估预测概率包括第一预测概率y1和第二预测概率y2，所述第一预测概率表示所述当前文本的书写时间在所述历史文本之前的预测概率，所述第二预测概率表示所述当前文本的书写时间在所述历史文本之后的预测概率；
所述根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估，包括：
比较第一预测概率和第二预测概率的大小；
若第一预测概率大于第二预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之前，即表示待评估对象的语言能力没有提升；
若第二预测概率大于第一预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之后，即表示待评估对象的语言能力有提升；
所述历史文本和所述当前文本的书写时间是具有先后顺序的，故不会出现第一预测概率等于第二预测概率的情况。
第二方面，本发明实施例提供了一种语言能力发展评估装置，参见图2所示为本发明提供的一种语言能力发展评估装置的一个优选实施例的结构示意图。
如图2所示，所述装置包括：
文本获取模块21，用于获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
编码处理模块22，用于将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
文本更新模块23，用于将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
相似度表征模块24，用于通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
概率计算模块25，用于根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
评估模块26，根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
在一个优选实施例中，所述文本更新模块23包括：
历史文本处理单元，用于基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；
当前文本处理单元，用于基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示。
在一个优选实施例中，所述历史文本处理单元包括：
第一注意力权重计算子单元，用于根据公式w1＝softmax(Ha·(Hb)T)计算所述当前文本对所述历史文本的第一注意力权重；
历史文本更新子单元，用于根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；
增强的历史文本表示子单元，用于根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；
其中，w1为所述第一注意力权重，Ha为所述基于文本的语义表示中的历史文本语义表示，Hb为所述基于文本的语义表示中的当前文本语义表示，(Hb)T为所述当前文本语义表示的转置，为所述更新后的历史文本，/>为所述增强的历史文本表示。
在一个优选实施例中，所述当前文本处理单元包括：
第二注意力权重计算子单元，用于根据公式w2＝softmax(Hb.(Ha)T)计算所述历史文本对所述当前文本的第二注意力权重；
当前文本更新子单元，用于根据公式使用所述第二注意力权重对所述当前文本进行更新，得到更新后的当前文本；
增强的当前文本表示子单元，用于根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；
其中，w2为所述第二注意力权重，Ha为所述基于文本的语义表示中的历史文本语义表示，Hb为所述基于文本的语义表示中的当前文本语义表示，(Ha)T为所述历史文本语义表示的转置，为所述更新后的当前文本，/>为所述增强的当前文本表示。
在一个优选实施例中，所述相似度表征模块24，用于
根据公式计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
其中，Wg是一个全局参数矩阵，|·|2、||·||2分别表示元素的平方和L2范数，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度。
在一个优选实施例中，所述概率计算模块25，用于将所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度拼接起来，得到语句的整体特征表示hc如下：
将所述语句的整体特征表示hc馈送到具有softmax函数的线性分类器中，得到语言发展评估预测概率y如下：
y＝softmax(WT·hc+b)；
其中，h[u]为所述基于文本的语义表示中的具有预设标记的语义表示，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度，W和b是可学习的参数，WT为W的转置。
在一个优选实施例中，所述评估模块26，用于所述语言发展评估预测概率包括第一预测概率和第二预测概率，所述第一预测概率表示所述当前文本的书写时间在所述历史文本之前的预测概率，所述第二预测概率表示所述当前文本的书写时间在所述历史文本之后的预测概率；
则，所述根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估，包括：
比较第一预测概率和第二预测概率的大小；
若第一预测概率大于第二预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之前；
若第二预测概率大于第一预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之后。
需要说明的是，本发明实施例所提供的一种语言能力发展评估装置，能够实现上述任一实施例所述的语言能力发展评估方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的语言能力发展评估方法的作用以及实现的技术效果对应相同，这里不再赘述。
第三方面，本发明实施例提供了一种电子设备，参见图3所示为本发明提供的一种电子设备的一个优选实施例的结构示意图。
如图3所示，所述设备包括：
存储器31，用于存储计算机程序；
处理器32，用于执行所述计算机程序；
其中，所述处理器32执行所述计算机程序时实现如上述任一实施例所述的语言能力发展评估方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器32执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。
所称处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可用于存储所述计算机程序和/或模块，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块，以及调用存储在所述存储器31内的数据，实现所述电子设备的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，所述存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述电子设备包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构示意图仅仅是上述电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多部件，或者组合某些部件，或者不同的部件。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现上述任一实施例所述的语言能力发展评估方法。
应当理解，本发明实现上述语言能力发展评估方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述语言能力发展评估方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，仅是本发明的优选实施方式，但本发明的保护范围并不局限于此，应当指出，对于本领域技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干等效的明显变型方式和/或等同替换方式，这些明显变型方式和/或等同替换方式也应视为本发明的保护范围。

Claims (10)

1.一种语言能力发展评估方法，其特征在于，包括：
获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
2.如权利要求1所述的语言能力发展评估方法，其特征在于，所述将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示，包括：
基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示；
基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示。
3.如权利要求2所述的语言能力发展评估方法，其特征在于，所述基于顺序信息的注意力机制计算所述历史文本的第一注意力权重，根据所述第一注意力权重对所述历史文本进行文本更新，对更新后的历史文本进行平均池化处理得到增强的历史文本表示，包括：
根据公式w1＝softmax(Ha·(Hb)T)计算所述当前文本对所述历史文本的第一注意力权重；
根据公式使用所述第一关注权重对所述历史文本进行更新，得到更新后的历史文本；
根据公式对所述更新后的历史文本进行平均池化处理得到所述增强的历史文本表示；
其中，w1为所述第一注意力权重，Ha为所述基于文本的语义表示中的历史文本语义表示，Hb为所述基于文本的语义表示中的当前文本语义表示，(Hb)T为所述当前文本语义表示的转置，为所述更新后的历史文本，/>为所述增强的历史文本表示。
4.如权利要求2所述的语言能力发展评估方法，其特征在于，所述基于顺序信息的注意力机制计算所述当前文本的第二注意力权重，根据所述第二注意力权重对所述当前文本进行文本更新，对更新后的当前文本进行平均池化处理得到增强的当前文本表示，包括：
根据公式w2＝softmax(Hb·(Ha)T)计算所述历史文本对所述当前文本的第二注意力权重；
根据公式使用所述第二注意力权重对所述当前文本进行更新，得到更新后的当前文本；
根据公式对所述更新后的当前文本进行平均池化处理得到所述增强的当前文本表示；
其中，w2为所述第二注意力权重，Ha为所述基于文本的语义表示中的历史文本语义表示，Hb为所述基于文本的语义表示中的当前文本语义表示，(Ha)T为所述历史文本语义表示的转置，为所述更新后的当前文本，/>为所述增强的当前文本表示。
5.如权利要求1所述的语言能力发展评估方法，其特征在于，所述通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度，具体为：
根据公式计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
其中，Wg是一个全局参数矩阵，|·|2、‖·‖2分别表示元素的平方和L2范数，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度。
6.如权利要求1所述的语言能力发展评估方法，其特征在于，所述根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率，包括：
将所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度拼接起来，得到语句的整体特征表示hc如下：
将所述语句的整体特征表示hc馈送到具有softmax函数的线性分类器中，得到语言发展评估预测概率y如下：
y＝softmax(WT·hc+b)；
其中，h[u]为所述基于文本的语义表示中的具有预设标记的语义表示，为所述增强的历史文本表示，/>为所述增强的当前文本表示，sg为所述信息相似度，W和b是可学习的参数，WT为W的转置。
7.如权利要求6所述的语言能力发展评估方法，其特征在于，所述语言发展评估预测概率包括第一预测概率和第二预测概率，所述第一预测概率表示所述当前文本的书写时间在所述历史文本之前的预测概率，所述第二预测概率表示所述当前文本的书写时间在所述历史文本之后的预测概率；
则，所述根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估，包括：
比较第一预测概率和第二预测概率的大小；
若第一预测概率大于第二预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之前；
若第二预测概率大于第一预测概率，则获得所述待评估对象的语言能力发展评估结果为：所述当前文本的书写时间在所述历史文本之后。
8.一种语言能力发展评估装置，其特征在于，包括：
文本获取模块，用于获取待评估对象的历史文本和当前文本，并对所述历史文本和所述当前文本进行拼接；
编码处理模块，用于将拼接后的文本输入到训练后的语言模型中进行编码，生成基于文本的语义表示；
文本更新模块，用于将所述历史文本和所述当前文本经过基于顺序信息的注意力机制计算，得到增强的历史文本表示和增强的当前文本表示；
相似度表征模块，用于通过相似度表征学习方法计算所述增强的历史文本表示和所述增强的当前文本表示之间的信息相似度；
概率计算模块，用于根据所述增强的历史文本表示、所述增强的当前文本表示、所述基于文本的语义表示和所述信息相似度计算语言发展评估预测概率；
评估模块，根据所述语言发展评估预测概率对所述待评估对象进行语言能力发展评估。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序；
其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的语言能力发展评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1至7任一项所述的语言能力发展评估方法。
CN202311058097.7A 2023-08-21 2023-08-21 一种语言能力发展评估方法、装置、设备及存储介质 Pending CN117078472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311058097.7A CN117078472A (zh) 2023-08-21 2023-08-21 一种语言能力发展评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311058097.7A CN117078472A (zh) 2023-08-21 2023-08-21 一种语言能力发展评估方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117078472A true CN117078472A (zh) 2023-11-17

Family

ID=88707629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311058097.7A Pending CN117078472A (zh) 2023-08-21 2023-08-21 一种语言能力发展评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117078472A (zh)

Similar Documents

Publication Publication Date Title
CN111177326B (zh) 基于精标注文本的关键信息抽取方法、装置及存储介质
US20200012953A1 (en) Method and apparatus for generating model
CN109344404B (zh) 情境感知的双重注意力自然语言推理方法
CN110678882B (zh) 使用机器学习从电子文档选择回答跨距的方法及系统
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN110555084A (zh) 基于pcnn和多层注意力的远程监督关系分类方法
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN114860915A (zh) 一种模型提示学习方法、装置、电子设备及存储介质
CN113743099A (zh) 基于自注意力机制方面术语提取系统、方法、介质、终端
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
JP2022145623A (ja) ヒント情報を提示する方法及び装置並びにコンピュータプログラム
CN112732879B (zh) 一种问答任务的下游任务处理方法及模型
CN112035629B (zh) 基于符号化知识与神经网络的问答模型的实现方法
CN113609326A (zh) 基于外部知识和目标间关系的图像描述生成方法
CN115374252B (zh) 一种基于原生Bert架构的文本分级方法及装置
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质
CN117078472A (zh) 一种语言能力发展评估方法、装置、设备及存储介质
CN115713082A (zh) 一种命名实体识别方法、装置、设备及存储介质
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN115310449A (zh) 一种基于小样本的命名实体识别方法、装置及相关介质
CN114139535A (zh) 一种关键词造句方法、装置、计算机设备及可读介质
CN113591472B (zh) 歌词生成方法、歌词生成模型训练方法、装置及电子设备
CN114911909B (zh) 结合深度卷积网络和注意力机制的地址匹配方法以及装置
CN114676684B (zh) 一种文本纠错方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination