CN112308370A - 一种基于Transformer的面向思政课程的主观题自动评分技术 - Google Patents

一种基于Transformer的面向思政课程的主观题自动评分技术 Download PDF

Info

Publication number
CN112308370A
CN112308370A CN202010974030.8A CN202010974030A CN112308370A CN 112308370 A CN112308370 A CN 112308370A CN 202010974030 A CN202010974030 A CN 202010974030A CN 112308370 A CN112308370 A CN 112308370A
Authority
CN
China
Prior art keywords
score
similarity
student
answer
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010974030.8A
Other languages
English (en)
Other versions
CN112308370B (zh
Inventor
刘新
蔡林杰
刘龙
唐朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202010974030.8A priority Critical patent/CN112308370B/zh
Publication of CN112308370A publication Critical patent/CN112308370A/zh
Application granted granted Critical
Publication of CN112308370B publication Critical patent/CN112308370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于Transformer的面向思政课程的主观题自动评分技术，涉及自然语言处理及深度学习，属于计算机应用技术领域，解决思政课程主观题自动评分技术准确度低的问题，具体方案为：包括以下步骤：S1：输入学生答案初始文本，通过基于BERT和序列标注的语义完整性分析模型对初始文本进行切分，将所述初始文本切分为多个语义完整分句；S2：通过BERT将每个学生答案分句和每个标准答案得分点表示为嵌入矩阵；S3：输入一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，通过基于Transformer的短文本相似度计算模型计算两个文本之间的相似度；S4：重复S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度；S5：根据每个得分点的分数和S4计算的相似度得到每个学生答案分句对于每个得分点的得分矩阵，选取行列都不重叠且总分最高的得分序列得到最终评分。

Description

一种基于Transformer的面向思政课程的主观题自动评分 技术
技术领域
本发明涉及自然语言处理及深度学习，属于计算机应用技术领域，更具体地说，它涉及一种基于Transformer的面向思政课程的主观题自动评分技术。
背景技术
Transformer模型2017年由《Attention is All You Need》提出，主要用于自然语言处理（NLP）领域，有一个完整的Encoder-Decoder框架，其主要由Attention（注意力）机制构成。每个编码器均由自注意力机制和前馈神经网络两个主要子层组成。每个解码器由自注意力机制、编码器-解码器注意力机制和前馈神经网络三个主要子层组成。像循环神经网络（RNN）一样，Transformer旨在处理顺序数据（例如自然语言），以执行翻译和文本摘要之类的任务。与RNN不同的是，Transformer不需要按顺序处理顺序数据，与RNN相比，Transformer允许更多的并行化，因此减少了训练时间，可以对更大的数据集进行训练。自问世以来，Transformer已成为解决NLP中许多问题的首选模型，取代了旧的循环神经网络模型。
2018年Google 在论文《BERT: Pre-training of Deep BidirectionalTransformers for Language Understanding》中提出了BERT模型，BERT模型主要利用了Transformer的双向编码器结构，采用的是最原始的Transformer。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，无需针对具体任务做大幅架构修改。
发明内容
本发明提供一种基于Transformer的面向思政课程的主观题自动评分技术，解决思政课程主观题自动评分技术准确度低的问题，使用Python语言编写代码，先将学生答案初始文本切分成多个语义完整的分句，再计算每一个学生答案分句和每一个标准答案得分点之间的相似度，根据计算的相似度和每个得分点的分数得到每个学生答案分句对于每个得分点的得分矩阵，选取行列都不重叠且总分最高的得分序列得到最终评分。
本发明的上述技术目的是通过以下技术方案得以实现的。一种基于Transformer的面向思政课程的主观题自动评分技术，包括以下步骤：
S1：输入学生答案初始文本，通过基于BERT和序列标注的语义完整性分析模型对初始文本进行切分，将所述初始文本切分为多个语义完整分句；
S2：通过BERT将每个学生答案分句和每个标准答案得分点表示为嵌入矩阵；
S3：输入一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，通过基于Transformer的短文本相似度计算模型计算两个文本之间的相似度；
S4：重复S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度；
S5：根据每个得分点的分数和S4计算的相似度得到每个学生答案分句对于每个得分点的得分矩阵，选取行列都不重叠且总分最高的得分序列得到最终评分。
步骤S1输入学生答案初始文本，通过BERT预训练模型可以得到由字符级向量组成的嵌入矩阵，再增加全连接层和Softmax层来对每个字符进行标注，最后根据标注序列将学生答案切分为多个语义完整分句。采用标注集T={B, M, E}进行,其中字母B表示语义完整句的开始字符，M表示语义完整句的中间字符，E表示语义完整句的结束字符。如得到“运/B动/M 是/M 物/M 质/M 的/M 存/M 在/M 方/M 式/M 和/M 根/M 本/M 属/M 性/E 物/B质/M 是/M 运/M 动/M 着/M 的/M 物/M 质/E”，可依据字母E将该文本切分为“运动是物质的存在方式和根本属性”和“物质是运动着的物质”两个语义完整分句。
步骤S2通过BERT预训练模型分别得到每个学生答案分句和每个标准答案得分点的由字符级向量组成的嵌入矩阵，学生答案分句对应矩阵为
Figure 107984DEST_PATH_IMAGE001
，标准答案得分点矩阵为
Figure 991626DEST_PATH_IMAGE002
，n和m分别表示两个文本的长度，768表示BERT输出每个字向量的长度。
步骤S3第一次的输入为一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，进入堆叠6个Transformer编码器的编码组件，每个编码器有三个子层，分别是原有的多头自注意力层和前馈神经网络层以及新增的交互注意力层，前两个子层获得两个文本各自的上下文信息，新增的第三层使两个文本获得二者的交互信息，除了第一次输入，后面每个编码器的输入都是上一个编码器的输出，堆叠6个编码器使得两个文本在不同的语义程度上进行交互，获得更为丰富的交互信息。矩阵
Figure 606279DEST_PATH_IMAGE003
表示学生答案分句，矩阵
Figure 716317DEST_PATH_IMAGE004
表示标准答案得分点，交互注意力层先计算交互注意力权重矩阵
Figure 668092DEST_PATH_IMAGE005
，按行方向对M进行Softmax操作，表示A中每个字符对Q中每个字符的注意力权重，因此交互后
Figure 780143DEST_PATH_IMAGE006
。按列方向对M进行Softmax操作，表示Q中每个字符对A中每个字符的注意力权重，因此交互后
Figure 424751DEST_PATH_IMAGE007
。这样学生答案分句Q和标准答案得分点A就进行了信息交互，经过整个编码组件（6个编码器）编码后，获得丰富的上下文信息和交互信息。将Q和A输入到池化层（max-pooling）后分别得到两个文本序列的向量表示v1和v2。v1和v2进入预测层，两个文本序列的相似度计算公式：
Figure 756506DEST_PATH_IMAGE008
，其中
Figure 511972DEST_PATH_IMAGE009
表示两个文本序列之间的相似度预测值，v1×v2强调两个文本序列之间相同的地方，|v1-v2|强调两个文本序列之间不同的地方，F表示将这4个向量拼接成一个向量输入到全连接神经网络后再经过Sigmoid函数处理输出相似度预测值。
步骤S4重复步骤S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度，由此得到一个相似度矩阵
Figure 245573DEST_PATH_IMAGE010
，qn表示学生答案的分句数，an表示标准答案的得分点数。
步骤S5根据每个得分点的分数
Figure 795503DEST_PATH_IMAGE011
和S4计算的相似度矩阵
Figure 348975DEST_PATH_IMAGE010
，
Figure 908133DEST_PATH_IMAGE011
每个分数值乘以
Figure 985986DEST_PATH_IMAGE010
对应列得到每个学生答案分句对于每个得分点的得分矩阵
Figure 706818DEST_PATH_IMAGE012
，在
Figure 137799DEST_PATH_IMAGE012
中选取行列都不重叠且总分最高的得分序列
Figure 110434DEST_PATH_IMAGE013
得到最终评分。
本发明提供了一种基于Transformer的面向思政课程的主观题自动评分技术，克服了现有的思政课程主观题自动评分技术不注重上下文信息和两个文本之间交互信息的问题，能够解决思政课程主观题自动评分技术准确度低的问题，提高计算效率。
附图说明
图1是本发明实现的过程图。
图2是本发明中基于BERT和序列标注的语义完整性分析模型的结构示意图。
图3是本发明中基于Transformer的短文本相似度计算模型的结构示意图。
具体实施方式
本发明的实际应用环境是针对思政课程主观题依据标准答案来对学生答案进行评分。以下结合附图对本发明作进一步详细说明。本发明在实施例具体实施时，如图1所示包括以下步骤：
S1：输入学生答案初始文本，通过基于BERT和序列标注的语义完整性分析模型对初始文本进行切分，将所述初始文本切分为多个语义完整分句；
S2：通过BERT将每个学生答案分句和每个标准答案得分点表示为嵌入矩阵；
S3：输入一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，通过基于Transformer的短文本相似度计算模型计算两个文本之间的相似度；
S4：重复S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度；
S5：根据每个得分点的分数和S4计算的相似度得到每个学生答案分句对于每个得分点的得分矩阵，选取行列都不重叠且总分最高的得分序列得到最终评分。
如图2所示，步骤S1输入学生答案初始文本，通过BERT预训练模型可以得到由字符级向量组成的嵌入矩阵，再增加全连接层和Softmax层来对每个字符进行标注，最后根据标注序列将学生答案切分为多个语义完整分句。采用标注集T={B, M, E}进行,其中字母B表示语义完整句的开始字符，M表示语义完整句的中间字符，E表示语义完整句的结束字符。如得到“运/B 动/M 是/M 物/M 质/M 的/M 存/M 在/M 方/M 式/M 和/M 根/M 本/M 属/M性/E 物/B 质/M 是/M 运/M 动/M 着/M 的/M 物/M 质/E”，可依据字母E将该文本切分为“运动是物质的存在方式和根本属性”和“物质是运动着的物质”两个语义完整分句。
步骤S2通过BERT预训练模型分别得到每个学生答案分句和每个标准答案得分点的由字符级向量组成的嵌入矩阵，学生答案分句对应矩阵为
Figure 677682DEST_PATH_IMAGE001
，标准答案得分点矩阵为
Figure 444780DEST_PATH_IMAGE002
，n和m分别表示两个文本的长度，768表示BERT输出每个字向量的长度。
如图3所示，步骤S3第一次的输入为一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，进入堆叠6个Transformer编码器的编码组件，每个编码器有三个子层，分别是原有的多头自注意力层和前馈神经网络层以及新增的交互注意力层，前两个子层获得两个文本各自的上下文信息，新增的第三层使两个文本获得二者的交互信息，除了第一次输入，后面每个编码器的输入都是上一个编码器的输出，堆叠6个编码器使得两个文本在不同的语义程度上进行交互，获得更为丰富的交互信息。矩阵
Figure 363058DEST_PATH_IMAGE003
表示学生答案分句，矩阵
Figure 139384DEST_PATH_IMAGE004
表示标准答案得分点，交互注意力层先计算交互注意力权重矩阵
Figure 826717DEST_PATH_IMAGE005
，按行方向对M进行Softmax操作，表示A中每个字符对Q中每个字符的注意力权重，因此交互后
Figure 794411DEST_PATH_IMAGE006
。按列方向对M进行Softmax操作，表示Q中每个字符对A中每个字符的注意力权重，因此交互后
Figure 668826DEST_PATH_IMAGE007
。这样学生答案分句Q和标准答案得分点A就进行了信息交互，经过整个编码组件（6个编码器）编码后，获得丰富的上下文信息和交互信息。将Q和A输入到池化层（max-pooling）后分别得到两个文本序列的向量表示v1和v2。v1和v2进入预测层，两个文本序列的相似度计算公式：
Figure 983264DEST_PATH_IMAGE008
，其中
Figure 525104DEST_PATH_IMAGE009
表示两个文本序列之间的相似度预测值，v1×v2强调两个文本序列之间相同的地方，|v1-v2|强调两个文本序列之间不同的地方，F表示将这4个向量拼接成一个向量输入到全连接神经网络后再经过Sigmoid函数处理输出相似度预测值。
步骤S4重复步骤S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度，由此得到一个相似度矩阵
Figure 899584DEST_PATH_IMAGE010
，qn表示学生答案的分句数，an表示标准答案的得分点数。
步骤S5根据每个得分点的分数
Figure 261296DEST_PATH_IMAGE011
和S4计算的相似度矩阵
Figure 379424DEST_PATH_IMAGE010
，
Figure 775771DEST_PATH_IMAGE011
每个分数值乘以
Figure 445786DEST_PATH_IMAGE010
对应列得到每个学生答案分句对于每个得分点的得分矩阵
Figure 671625DEST_PATH_IMAGE012
，在
Figure 718078DEST_PATH_IMAGE012
中选取行列都不重叠且总分最高的得分序列
Figure 844297DEST_PATH_IMAGE013
得到最终评分。如z=[3 2 4 1]得到最终评分为9。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (5)

1.一种基于Transformer的面向思政课程的主观题自动评分技术，其特征在于，包括以下步骤：
S1：输入学生答案初始文本，通过基于BERT和序列标注的语义完整性分析模型对初始文本进行切分，将所述初始文本切分为多个语义完整分句；
S2：通过BERT将每个学生答案分句和每个标准答案得分点表示为嵌入矩阵；
S3：输入一个学生答案分句和一个标准答案得分点的嵌入矩阵表示，通过基于Transformer的短文本相似度计算模型计算两个文本之间的相似度；
S4：重复S3直至计算完每个学生答案分句和每个标准答案得分点之间的相似度；
S5：根据每个得分点的分数和S4计算的相似度得到每个学生答案分句对于每个得分点的得分矩阵，选取行列都不重叠且总分最高的得分序列得到最终评分。
2.根据权利要求1所述的基于Transformer的面向思政课程的主观题自动评分技术，其特征在于，所述S1过程中，语义完整性分析模型使用BERT预训练模型结合序列标注实现对学生答案初始文本的切分。
3.根据权利要求1所述的基于Transformer的面向思政课程的主观题自动评分技术，其特征在于，所述S2过程中，通过BERT生成的矩阵嵌入表示包含上下文信息，解决一词多义对句子的影响。
4.根据权利要求1所述的基于Transformer的面向思政课程的主观题自动评分技术，其特征在于，所述S3过程中，短文本相似度计算模型的两个Transformer表示层增加了交互注意力机制，表示层的输出经过池化层得到两个文本序列的向量表示。
5.一种改进的相似度计算方法，基于权利要求4得到的两个文本序列的向量表示v1和v2，两个文本序列的相似度计算公式：
Figure 22076DEST_PATH_IMAGE001
，其中
Figure 798271DEST_PATH_IMAGE002
表示两个文本序列之间的相似度预测值，v1×v2强调两个文本序列之间相同的地方，|v1-v2|强调两个文本序列之间不同的地方，F表示将这4个向量拼接成一个向量输入到全连接神经网络后再经过Sigmoid函数处理输出相似度预测值。
CN202010974030.8A 2020-09-16 2020-09-16 一种基于Transformer的面向思政课程的主观题自动评分方法 Active CN112308370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010974030.8A CN112308370B (zh) 2020-09-16 2020-09-16 一种基于Transformer的面向思政课程的主观题自动评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974030.8A CN112308370B (zh) 2020-09-16 2020-09-16 一种基于Transformer的面向思政课程的主观题自动评分方法

Publications (2)

Publication Number Publication Date
CN112308370A true CN112308370A (zh) 2021-02-02
CN112308370B CN112308370B (zh) 2024-03-05

Family

ID=74483451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974030.8A Active CN112308370B (zh) 2020-09-16 2020-09-16 一种基于Transformer的面向思政课程的主观题自动评分方法

Country Status (1)

Country Link
CN (1) CN112308370B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282748A (zh) * 2021-04-29 2021-08-20 湘潭大学 基于transformer的针对隐私文本的自动检测技术
CN113312909A (zh) * 2021-05-19 2021-08-27 华南理工大学 基于自然语言处理的智能分析试题答案方法与系统
CN113505603A (zh) * 2021-07-09 2021-10-15 上海艾爵斯信息科技有限公司 适用于司法考试主观题的多任务学习智能阅卷方法及装置
CN113505602A (zh) * 2021-07-09 2021-10-15 上海艾爵斯信息科技有限公司 适用于司法考试主观题的智能阅卷方法、装置及电子设备
CN113641789A (zh) * 2021-08-11 2021-11-12 福州大学 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统
CN116796197A (zh) * 2022-12-22 2023-09-22 华信咨询设计研究院有限公司 一种医疗短文本相似度匹配方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213999A (zh) * 2018-08-20 2019-01-15 成都佳发安泰教育科技股份有限公司 一种主观题评分方法
CN109992648A (zh) * 2019-04-10 2019-07-09 北京神州泰岳软件股份有限公司 基于词迁徙学习的深度文本匹配方法及装置
CN110263352A (zh) * 2019-06-18 2019-09-20 澳门大学 用于训练深层神经机器翻译模型的方法及装置
CN110309306A (zh) * 2019-06-19 2019-10-08 淮阴工学院 一种基于wsd层级记忆网络的文档建模分类方法
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110427605A (zh) * 2019-05-09 2019-11-08 苏州大学 面向短文本理解的省略恢复方法
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
US20200034436A1 (en) * 2018-07-26 2020-01-30 Google Llc Machine translation using neural network models
CN110838288A (zh) * 2019-11-26 2020-02-25 杭州博拉哲科技有限公司 一种语音交互方法及其系统和对话设备
CN111046132A (zh) * 2019-10-25 2020-04-21 众安信息技术服务有限公司 一种检索多轮对话的客服问答处理方法及其系统
CN111125331A (zh) * 2019-12-20 2020-05-08 京东方科技集团股份有限公司 语义识别方法、装置、电子设备及计算机可读存储介质
CN111259625A (zh) * 2020-01-16 2020-06-09 平安科技（深圳）有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN111310458A (zh) * 2020-03-20 2020-06-19 广东工业大学 一种基于多特征融合的主观题自动评分方法
JP6714268B1 (ja) * 2019-10-11 2020-06-24 株式会社エクサウィザーズ 質問文出力方法、コンピュータプログラム及び情報処理装置
CN111339779A (zh) * 2020-03-20 2020-06-26 桂林电子科技大学 一种用于越南语的命名实体识别方法
CN111625641A (zh) * 2020-07-30 2020-09-04 浙江大学 一种基于多维度语义交互表征模型的对话意图识别方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034436A1 (en) * 2018-07-26 2020-01-30 Google Llc Machine translation using neural network models
CN109213999A (zh) * 2018-08-20 2019-01-15 成都佳发安泰教育科技股份有限公司 一种主观题评分方法
CN109992648A (zh) * 2019-04-10 2019-07-09 北京神州泰岳软件股份有限公司 基于词迁徙学习的深度文本匹配方法及装置
CN110427605A (zh) * 2019-05-09 2019-11-08 苏州大学 面向短文本理解的省略恢复方法
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110263352A (zh) * 2019-06-18 2019-09-20 澳门大学 用于训练深层神经机器翻译模型的方法及装置
CN110309306A (zh) * 2019-06-19 2019-10-08 淮阴工学院 一种基于wsd层级记忆网络的文档建模分类方法
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
JP6714268B1 (ja) * 2019-10-11 2020-06-24 株式会社エクサウィザーズ 質問文出力方法、コンピュータプログラム及び情報処理装置
CN111046132A (zh) * 2019-10-25 2020-04-21 众安信息技术服务有限公司 一种检索多轮对话的客服问答处理方法及其系统
CN110838288A (zh) * 2019-11-26 2020-02-25 杭州博拉哲科技有限公司 一种语音交互方法及其系统和对话设备
CN111125331A (zh) * 2019-12-20 2020-05-08 京东方科技集团股份有限公司 语义识别方法、装置、电子设备及计算机可读存储介质
CN111259625A (zh) * 2020-01-16 2020-06-09 平安科技（深圳）有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN111310458A (zh) * 2020-03-20 2020-06-19 广东工业大学 一种基于多特征融合的主观题自动评分方法
CN111339779A (zh) * 2020-03-20 2020-06-26 桂林电子科技大学 一种用于越南语的命名实体识别方法
CN111625641A (zh) * 2020-07-30 2020-09-04 浙江大学 一种基于多维度语义交互表征模型的对话意图识别方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HENGYU MENG ET AL.: "《Spacecraft Anomaly Detection and Relation Visualization via Masked Time Series Modeling》", 《2019 PROGNOSTICS AND SYSTEM HEALTH MANAGEMENT CONFERENCE (PHM-QINGDAO)》 *
吴炎;王儒敬;: "基于BERT的语义匹配算法在问答系统中的应用", 仪表技术, no. 06 *
张晓辉;于双元;王全新;徐保民;: "基于对抗训练的文本表示和分类算法", 计算机科学, no. 1 *
郑杰;孔芳;周国栋;: "面向短文本理解的省略恢复研究", 中文信息学报, no. 04 *
陆金梁;张家俊;: "基于多语言预训练语言模型的译文质量估计方法", 厦门大学学报(自然科学版), no. 02 *
陈佳伟;韩芳;王直杰;: "基于自注意力门控图卷积网络的特定目标情感分析", 计算机应用, no. 08 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282748A (zh) * 2021-04-29 2021-08-20 湘潭大学 基于transformer的针对隐私文本的自动检测技术
CN113312909A (zh) * 2021-05-19 2021-08-27 华南理工大学 基于自然语言处理的智能分析试题答案方法与系统
CN113312909B (zh) * 2021-05-19 2023-01-06 华南理工大学 基于自然语言处理的智能分析试题答案方法与系统
CN113505603A (zh) * 2021-07-09 2021-10-15 上海艾爵斯信息科技有限公司 适用于司法考试主观题的多任务学习智能阅卷方法及装置
CN113505602A (zh) * 2021-07-09 2021-10-15 上海艾爵斯信息科技有限公司 适用于司法考试主观题的智能阅卷方法、装置及电子设备
CN113641789A (zh) * 2021-08-11 2021-11-12 福州大学 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统
CN113641789B (zh) * 2021-08-11 2023-08-04 福州大学 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统
CN116796197A (zh) * 2022-12-22 2023-09-22 华信咨询设计研究院有限公司 一种医疗短文本相似度匹配方法

Also Published As

Publication number Publication date
CN112308370B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN112308370A (zh) 一种基于Transformer的面向思政课程的主观题自动评分技术
CN109766427B (zh) 一种基于协同注意力的虚拟学习环境智能问答方法
CN111611377A (zh) 基于知识蒸馏的多层神经网络语言模型训练方法与装置
CN111310474A (zh) 基于激活-池化增强bert模型的在线课程评论情感分析方法
Zhu et al. Automatic short-answer grading via BERT-based deep neural networks
Xiao et al. DAA: Dual LSTMs with adaptive attention for image captioning
JP7418704B2 (ja) 穴埋め熟語問題の回答を選択する方法、装置およびコンピュータ機器
CN116596347B (zh) 基于云平台的多学科交互教学系统及教学方法
CN113011196A (zh) 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113486645A (zh) 一种基于深度学习的文本相似度检测方法
CN116561272A (zh) 开放域视觉语言问答方法、装置、电子设备及存储介质
Kusumawardani et al. Transformer encoder model for sequential prediction of student performance based on their log activities
CN118227769B (zh) 一种基于知识图谱增强的大语言模型问答生成方法
CN115204396A (zh) 一种基于交互式阅读理解的文本语义推理方法及系统
CN114881042A (zh) 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN114254645A (zh) 一种人工智能辅助写作系统
CN115080715A (zh) 基于残差结构和双向融合注意力的跨度提取阅读理解方法
CN113742451A (zh) 基于多类型问题和多片段答案抽取的机器阅读理解系统
CN117851565A (zh) 基于多源交互的文本视觉问答方法及系统
Shaikh et al. Exploring the potential of large-language models (LLMs) for student feedback sentiment analysis
CN117932066A (zh) 一种基于预训练的“提取-生成”式答案生成模型及方法
CN113239678A (zh) 一种面向答案选择的多角度注意力特征匹配方法及系统
CN116521872B (zh) 一种认知和情感的联合识别方法、系统及电子设备
CN111813907A (zh) 一种自然语言问答技术中的问句意图识别方法
CN116681090A (zh) BestTransformer汉盲转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant