CN113743083A - 一种基于深度语义表征的试题难度预测方法及系统 - Google Patents
一种基于深度语义表征的试题难度预测方法及系统 Download PDFInfo
- Publication number
- CN113743083A CN113743083A CN202111036288.4A CN202111036288A CN113743083A CN 113743083 A CN113743083 A CN 113743083A CN 202111036288 A CN202111036288 A CN 202111036288A CN 113743083 A CN113743083 A CN 113743083A
- Authority
- CN
- China
- Prior art keywords
- text
- question
- test question
- test
- questions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001149 cognitive effect Effects 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000011049 filling Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000012512 characterization method Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 9
- 238000003062 neural network model Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 30
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- PXUQTDZNOHRWLI-OXUVVOBNSA-O malvidin 3-O-beta-D-glucoside Chemical compound COC1=C(O)C(OC)=CC(C=2C(=CC=3C(O)=CC(O)=CC=3[O+]=2)O[C@H]2[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O2)O)=C1 PXUQTDZNOHRWLI-OXUVVOBNSA-O 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度语义表征的试题难度预测方法及系统。该方法包括:基于预训练语言模型对多类型试题进行文本表征;对试题文本表征进行特征提取和融合;基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;计算知识点集合中各知识点的拓扑距离;基于深度注意力网络模型,根据融合后的特征确定多类型试题的认知层级;基于试题文本表征、知识点拓扑距离以及认知层级预测多类型试题的难度。本发明在确定试题认知层级基础上,结合试题上下文特征、知识点拓扑结构特征,研究基于混合神经网络模型和认知层级的试题难度自动评估框架,从而解决试题文本认知层级标注困难和语料不足、试题难度评估标准单一缺乏认知指导的问题。
Description
技术领域
本发明涉及试题表征技术领域,特别是涉及一种基于深度语义表征的试题难度预测方法及系统。
背景技术
传统教育中,试题的属性标签通常由专家手工标注,存在费时费力、科学性与一致性难以保证等问题。针对这一问题,已有研究人员利用手工筛选分类特征,利用机器学习技术构建模型对试题的各项属性进行标注。但是,此类研究仍未能充分利用试题文本中存在的丰富的语义信息,以及不同题型的文本模块之间存在的复杂的上下文关系,属性标注的精度有待提高。此外,现有研究中,也未充分重视试题的认知目标这一重要属性,认知目标对评价学习者的思维有着重要的作用,以及认知目标下试题难度评估也缺乏研究。
发明内容
本发明的目的是提供一种基于深度语义表征的试题难度预测方法及系统,用以解决试题文本认知层级标注困难和语料不足、试题难度评估标准单一缺乏认知指导的问题。
为实现上述目的,本发明提供了如下方案:
一种基于深度语义表征的试题难度预测方法,包括:
基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本;
对试题文本表征进行特征提取和融合;
基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;
计算所述知识点集合中各知识点的拓扑距离;
基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级;
基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
进一步地,所述对试题文本表征进行特征提取和融合,具体包括:
采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取;
采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取;
采用特征融合模型进行特征融合。
进一步地,所述采用特征融合模型进行特征融合,具体包括:
对于填空题,对提取到的填空题题干文本特征和填空题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;
对于选择题,将各选项文本特征示输入到一个注意力机制层后和选择题题干文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;
对于简答题,将简答题题干文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将简答题解析文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将融合后的特征输入至全连接层进行最终融合。
进一步地,所述基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度,具体包括:
在训练阶段,将试题文本表征、知识点拓扑距离和认知层级作为线性回归模型的输入,并从答题记录中获取样本试题的得分率作为试题难度的标签;
在测试阶段,通过输入试题文本表征、知识点拓扑距离和认知层级,预测当前试题的得分率,确定试题的难度。
进一步地,所述知识点拓扑距离的计算公式如下:
其中,dq表示试题q的知识点拓扑距离,ki,kj表示试题q所属知识点集合K中的第i、j个知识点,K={k1,k2…kN},N表示知识点个数。
本发明还提供了一种基于深度语义表征的试题难度预测系统,包括:
文本表征模块,用于基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本;
特征提取和融合模块,用于对试题文本表征进行特征提取和融合;
知识点集合确定模块,用于基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;
知识点距离计算模块,用于计算所述知识点集合中各知识点的拓扑距离;
认知层级确定模块,用于基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级;
难度预测模块,用于基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
进一步地,所述特征提取和融合模块具体包括:
第一特征提取单元,用于采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取;
第二特征提取单元,用于采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取;
特征融合单元,用于采用特征融合模型进行特征融合。
进一步地,所述知识点拓扑距离的计算公式如下:
其中,dq表示试题q的知识点拓扑距离,ki,kj表示试题q所属知识点集合K中的第i、j个知识点,K={k1,k2…kN},N表示知识点个数。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明归类总结试题类型和试题语言特点,综合利用融合试题上下文文本特征,基于深度注意力网络的试题文本认知层级的自动抽取模型;在确定试题认知层级基础上,结合试题上下文特征、知识点拓扑结构特征,研究基于混合神经网络模型和认知层级的试题难度自动评估框架,从而解决试题文本认知层级标注困难和语料不足、试题难度评估标准单一缺乏认知指导的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度语义表征的试题难度预测方法的流程图;
图2为本发明实施例试题文本嵌入表示的原理图;
图3为本发明实施例基于预训练语言模型的试题上下文编码的原理图;
图4为本发明实施例试题文本特征提取的原理图;
图5为本发明实施例多类型试题文本特征融合的原理图;
图6为本发明实施例试题文本认知层级自动抽取的原理图;
图7为本发明实施例基于认知层级的试题难度预测的原理图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于深度语义表征的试题难度预测方法及系统,用以解决试题文本认知层级标注困难和语料不足、试题难度评估标准单一缺乏认知指导的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供的基于深度语义表征的试题难度预测方法,包括以下步骤:
步骤101:基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本。
步骤102:对试题文本表征进行特征提取和融合。
步骤103:基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合。
步骤104:计算所述知识点集合中各知识点的拓扑距离。
步骤105:基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级。
步骤106:基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
作为一个可选的实施例,步骤102:对试题文本表征进行特征提取和融合,具体包括:
步骤1021:采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取。
步骤1022:采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取。
步骤1023:采用特征融合模型进行特征融合。
作为一个可选的实施例,步骤1023:采用特征融合模型进行特征融合,具体包括:
对于填空题,对提取到的填空题题干文本特征和填空题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合。
对于选择题,将各选项文本特征示输入到一个注意力机制层后和选择题题干文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合。
对于简答题,将简答题题干文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将简答题解析文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将融合后的特征输入至全连接层进行最终融合。
作为一个可选的实施例,步骤106:基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度,具体包括:
在训练阶段,将试题文本表征、知识点拓扑距离和认知层级作为线性回归模型的输入,并从答题记录中获取样本试题的得分率作为试题难度的标签;
在测试阶段,通过输入试题文本表征、知识点拓扑距离和认知层级,预测当前试题的得分率,确定试题的难度。
作为一个可选的实施例,步骤104中知识点拓扑距离的计算公式如下:
其中,dq表示试题q的知识点拓扑距离,ki,kj表示试题q所属知识点集合K中的第i、j个知识点,K={k1,k2…kN},N表示知识点个数。
下面,将对上述方法进行详细的介绍:
1、基于混合神经网络的多类型试题上下文特征提取与融合
本发明拟在总结试题类型、解析试题结构的基础上,确定三种普遍、通用的试题类型(填空题、选择题、简答题)作为对象,利用预训练语言模型对文本进行向量表示后,根据不同类型的试题结构采用有针对性的混合神经网络模型来提取和融合上下文特征。
(1)语料准备
本发明以中小学各学段学科的教学设计、试题试卷、多媒体素材等教学资源,并分析其中各学科各种题型类型、题目结构、题目语言特点(子语言特点),梳理出各学科普遍、通用的试题类型作为本项目通用试题知识点抽取模型构建的对象,结合试题所属章节目录、试题解析和课程大纲等知识点来源,以宾州中文树库(Penn Chinese treebank,PCTB)标注规范作为基础,构建适用于下游试题属性标注的语料库,整理和规范化未确定试题和孤立试题。
(2)试题文本表征和特征提取
本发明分别对填空题、选择题和简答题进行文本表征,并根据不同题型的不同结构设计不同特征提取方法,实现试题文本的充分表征和特征提取。首先对三种题型和所属知识点给出形式化的定义:
Definition1:填空题
定义TFQ=[Tstem;Tanswer]为一道填空题FQ(Fill in the blanks Question)文本内容,Tstem表示题干文本,Tanswer表示填空答案文本(默认研究单项填空题类型)。
Definition 2:选择题
定义TFQ=[Tstem;Topt]为一道选择题CQ(ChoiceQuestion)文本内容,Tstem表示题干文本,Topt表示所有选项文本,且Topt={t1,t2…to},O表示选项个数,且正确选项ti∈Topt(默认研究单项选择题类型)。
Definition3:简答题
定义TPQ=[Tstem;Tanswer;Tanalysis]为一道填空题PQ(Practical Question)文本内容,Tstem表示题干文本,Tanswer表示答案文本,Tanalysis表示答案解析,作为对答案文本的解释和补充。简答题的答案文本多为长文本,而答案解析是针对答案文本的解析,内容和细节上相对于答案更丰富。
本发明这里只考虑简答题的答案解析,主要是简答题与答案的对应关系更加明显和具体;不管理科还是文科的简答题,答案文本多分条、分行和分点,简答题的解析也是对应的。而填空题和选择题的答案多为短文本,解析一般不能与之形成紧密联系,所以本发明暂不考虑。
Definition 4:知识点
通过形式化定义,本发明整合三种题型的共四种结构文本,包括Tstem、Tanalysis、Tanswer和Topt。为了理解语义信息,本发明首先采用预训练语言模型BERT(BidirectionalEncoder Representation from Transformers)分别对四种结构文本向量化表示,能够充分描述试题文本字符级、词级和句子级的特征信息。以Tstem为例,BERT将Tstem={w1,w2...wn}中的每个词wn(Token)通过嵌入层传递,以便将每个Token转换为向量表示。如图1所示,嵌入层包括三种嵌入表示,分别是token嵌入,segment嵌入和position嵌入,通过这三个嵌入表示共同表示输入的文本。与其他表示方法如Word2Vec不同,BERT还设计了Segment嵌入和Position两种形式。以模拟试题题干“Accordingto the condition,deducemonotonicity”为例具体如附图2所示。
Token embedding(字符嵌入表示)的作用是将字转换为固定维数的向量表示形式,其中有两个特殊的tokens,位于句首的[CLS]和位于句末的[SEP],分别用于表示输入的整个句子和划分句子对。Segment embedding(句子片嵌入)的作用是区分句子对中的两个句子向量,SEP分割符,前面是句子1,后面是句子2,则句子1中所有token的标记为0,句子2为1,以此类推。Position embedding(位置嵌入)的作用是记录每个token在句子中的位置属性。BERT将每个token表示成768维的向量,如在第b个批次处理n个输入token可以被转换为(b,n,768)的张量,因此嵌入表示Estem={E1,E2...En},其中En=Etoken(wn)+Esegment(wn)+Eposition(wn)。
接着,将题干文本的嵌入表示Estem输入BERT模型中预训练的双向Transformer中提取词法、句法等文本句式中隐含的信息,得到输入文本的字向量表示Xstem={x1,x2...xn},其中xn=Transformerencoder(En),如附图3所示。
经过相同的BERT文本嵌入流程,本发明可以得到每种结构文本的字向量表示,分别是Xstem、Xanalysis、Xanswer和Xopt。接着,本发明通过分析这四种结构文本的语言特点,采用了两种不同的特征提取方法。针对题干文本Xstem和解析文本Xanalysis,这两种结构文本更加注重文本的整体理解,具有较强的序列语义性,因此本发明采用双向长短记忆网络BiLSTM(Bi-directionalLongShort-Term Memory)来侧重于提取序列特征信息,见附图4。以题干文本Xstem为例,输入BiLSTM网络结构中后隐藏状态可以表示为:
ht=f(Wxxt+Whht-1+b)
其中xt∈Xstem表示第t个字向量输入,Wx、Wh为当前字输入和连接上一个字隐层的权重矩阵,b为偏置。具体的,LSTM相较于RNN(Recurrent Neural Network)设计了一种记忆单元结构,通过三种门结构(输入门、遗忘门和输出门)来控制信息在记忆单元ct中的存储、更新和遗忘:
it=σ(Wxixt+Whiht-1+Wcict-1+bi)
ct=(1-it)⊙ct-1+it⊙tanh(Wxcxt+Whcht-1+bc)
ot=σ(Wxoxt+Whoht-1+Wcoct+bo)
ht=ot⊙tanh(ct)
其中σ为sigmoid函数,⊙为Hadamard乘积。普通的LSTM从左到右处理第t个字得到前向隐藏状态BiLSTM在此基础上,增加了从右到左的后向隐藏状态前向与后向拼接最终得到题干文本字向量Xstem的特征表示采用相同的方法,本发明也可以得到解析文本Xanalysis的序列特征表示Fanalysis。
针对Xanswer和Xopt,这两种结构文本一般以短文本的形式存在,且聚合着多种试题的综合特征,具有较强局部语义性,因此本发明采用一种处理文本的卷积神经网络TextCNN(Text Convolutional Neural Networks)来侧重提取局部语义特征,见附图3。以答案文本Xanswer为例,设置不同大小的卷积核分别抽取字片段特征(n-gram特征),卷积计算出的特征图经过最大池化(MaxPooling)保留最大的特征值,然后将拼接成一个向量作为文本的表示。具体的,将Xanswer输入到TextCNN中,采用一维卷积核,其宽度与输入的词向量维度d一致,只有高度不同,设有p种不同高度的卷积核,分别为h1,h2......hp,以其中高度为h的卷积核为例,该卷积核可表示为矩阵Wconv_h∈Rh×d,使用该卷积核在词向量xi上滑动进行卷积运算,当滑动窗口位于第i到第i+h-1个词之间时,卷积核的输出可表示为:
其中f为该卷积核的激活函数,b为偏置。高度为h的卷积核对矩阵共进行了i-h+1次卷积运算,输出n-h+1个值,拼接后得到长度为n-h+1的字片段集合(feature_map),如果每种高度的卷积核都有k个,则每种卷积核产生k个n-h+1长度的向量:
conv=[conv0:h-1,conv1:h…convn-h:n-1]
接着对卷积核输出的每个feature_map使用长度为n-h+1的池化核,进行最大池化操作:
其中是使用第i种高度的第j个卷积核对Ei进行卷积并经过最大池化后输出的值,即为答案文本Xanswer的特征表示,记作Fanswer。采用同样的方法,本发明也可以得到选项文本Xopt的特征表示Fopt,其中每个选项文本xopt,i∈Xopt的特征表示Fopt,i∈Fopt。
(3)多题型多特征融合
在对四种结构文本特征提取的基础上,本发明针对不同题型,设计适应其文本特点和做题特点的特征融合网络结构,见附图5。
1)填空题
在分别对填空题题干文本Tstem表示并提取特征后得到Fstem,对填空答案文本Tanswer表示并提取特征后得到的Fanswer,采用拼接的方式组成,并输入一层BiLSTM输出融合FFQ:
FFQ=BiLSTM(concat(Fstemn,Fanswer))
但填空题与选择题在整体文本上存在差异,即填空题的答案文本与题干文本的结合更紧密,因为答案本身是从题干中挖空产生的,因此填空答案与题干之间也存在着句法上的语义关系。在特征融合之后NF表示特征向量长度。本发明将其输入到一个注意力机制层(Attention层)中来处理这种整体的文本语义信息,注意力概率分布ai:
其中W、U为权值矩阵,b为偏置值,ReLU为激活函数,得到每个字向量的概率分布值后,对所有字向量特征表示进行求和在平均,得到填空题整体文本TFQ的特征向量
2)选择题
为了充分利用各个选项之间的权重匹配,方便网络学习更多试题与各个选项之间联系,本发明将各个选项的特征表示输入到一个Attention层,则计算每个选项的特征表示与所有选项的特征表示的匹配得分占总体的百分率(注意力概率分布)ai:
接着采用拼接的方式组成,并输入一层BiLSTM输出融合特征FCQ:
3)简答题
简答题的解答过程体现了一个思维逻辑过程,即运用Tstem中条件到Tanswer中步骤的过程,同时,答案解析与答案也存在一个印证补充的过充,即Tanalysis对Tanswer中的每一个步骤给出具体的解析内容。这种Tstem→Tanswer→Tanalysis语义层面的依赖也会反应在其文本特征间的依赖上,因此,本发明对这两段依赖过程分别采用Attention进行表征和融合。
Fsa=BiLSTM(concat(Fs tem,Fanswer))
Faa=BiLSTM(concat(Fanswer,Fanafysis))
最终经过一个全连接层FC形成两部分特征依赖的整体特征:
半监督数据计算正则化、多分类输出
2.试题知识点抽取
以为例,输入到多层感知机MLP(multilayer perceptron)进行分类,该层由两层全连接层F1、F2组成的,其中F1使用ReLU作为激活函数,F2的节点个数与总知识点数量M一致,假设有NM个知识点标签K={k1,k2…kM},MLP将融合特征转换为长度等于M的向量最终利用Softmax函数作为分类器,将F2的输出归一化,得到该选择题属于各个知识点的概率:
3.认知目标下的试题难度评估
基于认知层级的试题难度评估要重点解决两个个问题:一是要解决试题文本认知层级标注困难和语料不足,二是要能够实现自动抽取试题文本的认知动词和确定认知层级,三是要实现融合试题认知层级等试题特征的难度自动评估模型。
(1)试题文本认知层级自动抽取模型
试题的认知层级隐含在试题文本中,属于一种深层特征,在前面准备工作的基础上,本发明采用了一种深度注意力网络结构(Deep Attentional Neural Network),设计了一种能够深层挖掘试题文本隐含特征的网络块,并结合残差网络实现高层网络的特征强化,见附图6。
1)试题文本表示
最终深度注意力网络块输出隐藏变量为Y:
Y=M·W
其中M=concat(M1,…,Mh)。
3)结合残差网络的深度注意力网络
深层注意力网络由多个网络块组成,如图6所示。为了简化模型训练并获得更高的精度,在每个网络块之后使用一个残差连接块来稳定网络特征传播:
Y=X+Block(X)
最后通过Softmax层映射,输出试题T对应六种认知层级的概率如表,取概率最高的为该试题文本的认知层级:
但往往一道试题可能包括多种认知层级,比如既考察了记忆、理解,又考察了综合等。因此本发明需要一个对试题认知层级综合衡量的指标fcognition:
认知层级 | 记忆 | 理解 | 运用 | 分析 | 综合 | 评价 |
概率值p<sub>i</sub> | p<sub>1</sub> | p<sub>2</sub> | p<sub>3</sub> | p<sub>4</sub> | p<sub>5</sub> | p<sub>6</sub> |
权重值a<sub>i</sub> | 1 | 2 | 3 | 4 | 5 | 6 |
(2)基于认知层级的试题难度评估技术
本发明在试题认知层级自动抽取的基础上,设计了一种基于认知层级的试题难度评估技术,见附图7。整体流程包括训练和测试阶段。在训练阶段,将试题文本表征、试题知识点拓扑距离表征和认知层级作为模型输入,并从答题记录中获取试题的得分率作为试题难度的标签;在测试阶段,通过输入上述三类试题特征,预测该试题的得分率,即试题的难度。形式化定义如下:
Definition 5:得分率
定义试题集Q一道试题qi∈Q的得分率为rQ可以表示为:
其中wi表示试题qi的分值,Record为qi的作答记录数,score()表示某次记录得分。
Definition6:试题知识点拓扑距离
由Def 4得K={k1,k2…kM}为全部知识点集合,M表示知识点的个数,Kq表示一道试题q考察的全部,定义知识点关系无向图G=(K,E),其中K表示知识点集合,E表示知识点间的关联关系边;两个知识点ki,kj在G中的最短拓扑距离为DFS(ki,kj),则试题q的知识点拓扑距离为:
首先本发明将试题q的各部分文本字向量Xstem、Xanal ysis、Xanswer和Xopt拼接成一个全局字向量来表示试题文本信息X:
Xq=concat(Xstem,Xanalysis,Xanswer,Xopt)
Fq=FC(CNN(LSTM(X)))
另一方面,将试题的认知层级特征fcognition与知识点拓扑距离dq相加融合成新特征值,并累加到Fq的每个元素上:
fq=add(fcognition,dq)
Fq=Fq+fq
最后采用线性回归模型,输出即为预测试题难度d(Fq):
d(Fq)=WT·Fq+b
其中WT为权重矩阵,b为偏置向量。
本发明还提供了一种基于深度语义表征的试题难度预测系统,包括:
文本表征模块,用于基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本;
特征提取和融合模块,用于对试题文本表征进行特征提取和融合;
知识点集合确定模块,用于基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;
知识点距离计算模块,用于计算所述知识点集合中各知识点的拓扑距离;
认知层级确定模块,用于基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级;
难度预测模块,用于基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
其中,所述特征提取和融合模块具体包括:
第一特征提取单元,用于采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取;
第二特征提取单元,用于采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取;
特征融合单元,用于采用特征融合模型进行特征融合。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于深度语义表征的试题难度预测方法,其特征在于,包括:
基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本;
对试题文本表征进行特征提取和融合;
基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;
计算所述知识点集合中各知识点的拓扑距离;
基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级;
基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
2.根据权利要求1所述的基于深度语义表征的试题难度预测方法,其特征在于,所述对试题文本表征进行特征提取和融合,具体包括:
采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取;
采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取;
采用特征融合模型进行特征融合。
3.根据权利要求2所述的基于深度语义表征的试题难度预测方法,其特征在于,所述采用特征融合模型进行特征融合,具体包括:
对于填空题,对提取到的填空题题干文本特征和填空题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;
对于选择题,将各选项文本特征示输入到一个注意力机制层后和选择题题干文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;
对于简答题,将简答题题干文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将简答题解析文本特征和简答题答案文本特征进行拼接,并输入到一层BiLSTM和注意力机制层进行融合;将融合后的特征输入至全连接层进行最终融合。
4.根据权利要求1所述的基于深度语义表征的试题难度预测方法,其特征在于,所述基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度,具体包括:
在训练阶段,将试题文本表征、知识点拓扑距离和认知层级作为线性回归模型的输入,并从答题记录中获取样本试题的得分率作为试题难度的标签;
在测试阶段,通过输入试题文本表征、知识点拓扑距离和认知层级,预测当前试题的得分率,确定试题的难度。
6.一种基于深度语义表征的试题难度预测系统,其特征在于,包括:
文本表征模块,用于基于预训练语言模型对多类型试题进行文本表征;所述多类型试题包括三种题型,为填空题、选择题和简答题;三种题型共包括四种结构文本,为题干文本、答案文本、选项文本和解析文本;
特征提取和融合模块,用于对试题文本表征进行特征提取和融合;
知识点集合确定模块,用于基于多层感知机对融合后的特征进行分类,确定多类型试题的所属知识点集合;
知识点距离计算模块,用于计算所述知识点集合中各知识点的拓扑距离;
认知层级确定模块,用于基于深度注意力网络模型,根据融合后的特征确定所述多类型试题的认知层级;
难度预测模块,用于基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。
7.根据权利要求6所述的基于深度语义表征的试题难度预测系统,其特征在于,所述特征提取和融合模块具体包括:
第一特征提取单元,用于采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取;
第二特征提取单元,用于采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取;
特征融合单元,用于采用特征融合模型进行特征融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111036288.4A CN113743083B (zh) | 2021-09-06 | 2021-09-06 | 一种基于深度语义表征的试题难度预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111036288.4A CN113743083B (zh) | 2021-09-06 | 2021-09-06 | 一种基于深度语义表征的试题难度预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113743083A true CN113743083A (zh) | 2021-12-03 |
CN113743083B CN113743083B (zh) | 2024-03-12 |
Family
ID=78735731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111036288.4A Active CN113743083B (zh) | 2021-09-06 | 2021-09-06 | 一种基于深度语义表征的试题难度预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743083B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023108991A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技(深圳)有限公司 | 模型的训练方法、知识分类方法、装置、设备、介质 |
CN117251533A (zh) * | 2023-11-20 | 2023-12-19 | 江西师范大学 | 一种数学题目及其解答过程的生成方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05281899A (ja) * | 1992-03-31 | 1993-10-29 | Toshiba Corp | 教育支援システム |
KR20050050627A (ko) * | 2005-05-09 | 2005-05-31 | 주식회사 이디스넷 | 통신망을 통한 능력평가 시스템 및 그 방법 |
CN111160606A (zh) * | 2019-11-27 | 2020-05-15 | 科大讯飞股份有限公司 | 试题难度预测方法及相关装置 |
CN111310463A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 试题难度预估方法、装置、电子设备和存储介质 |
CN111784048A (zh) * | 2020-06-30 | 2020-10-16 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
CN112184089A (zh) * | 2020-11-27 | 2021-01-05 | 北京世纪好未来教育科技有限公司 | 试题难度预测模型的训练方法、装置、设备及存储介质 |
CN112508334A (zh) * | 2020-11-06 | 2021-03-16 | 华中师范大学 | 融合认知特性及试题文本信息的个性化组卷方法及系统 |
CN112527821A (zh) * | 2020-12-09 | 2021-03-19 | 大连东软教育科技集团有限公司 | 一种学生布鲁姆掌握度评估方法、系统及存储介质 |
CN113239669A (zh) * | 2021-05-21 | 2021-08-10 | 合肥工业大学 | 试题难度预测方法 |
-
2021
- 2021-09-06 CN CN202111036288.4A patent/CN113743083B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05281899A (ja) * | 1992-03-31 | 1993-10-29 | Toshiba Corp | 教育支援システム |
KR20050050627A (ko) * | 2005-05-09 | 2005-05-31 | 주식회사 이디스넷 | 통신망을 통한 능력평가 시스템 및 그 방법 |
CN111160606A (zh) * | 2019-11-27 | 2020-05-15 | 科大讯飞股份有限公司 | 试题难度预测方法及相关装置 |
CN111310463A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 试题难度预估方法、装置、电子设备和存储介质 |
CN111784048A (zh) * | 2020-06-30 | 2020-10-16 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
CN112508334A (zh) * | 2020-11-06 | 2021-03-16 | 华中师范大学 | 融合认知特性及试题文本信息的个性化组卷方法及系统 |
CN112184089A (zh) * | 2020-11-27 | 2021-01-05 | 北京世纪好未来教育科技有限公司 | 试题难度预测模型的训练方法、装置、设备及存储介质 |
CN112527821A (zh) * | 2020-12-09 | 2021-03-19 | 大连东软教育科技集团有限公司 | 一种学生布鲁姆掌握度评估方法、系统及存储介质 |
CN113239669A (zh) * | 2021-05-21 | 2021-08-10 | 合肥工业大学 | 试题难度预测方法 |
Non-Patent Citations (1)
Title |
---|
胡国平;张丹;苏喻;刘青文;李佳;王瑞;: "试题知识点预测:一种教研知识强化的卷积神经网络模型", 中文信息学报, no. 05 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023108991A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技(深圳)有限公司 | 模型的训练方法、知识分类方法、装置、设备、介质 |
CN117251533A (zh) * | 2023-11-20 | 2023-12-19 | 江西师范大学 | 一种数学题目及其解答过程的生成方法 |
CN117251533B (zh) * | 2023-11-20 | 2024-01-30 | 江西师范大学 | 一种数学题目及其解答过程的生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113743083B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107133211B (zh) | 一种基于注意力机制的作文评分方法 | |
US11475273B1 (en) | Deep convolutional neural networks for automated scoring of constructed responses | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
US20220129621A1 (en) | Bert-based machine-learning tool for predicting emotional response to text | |
CN111881262B (zh) | 基于多通道神经网络的文本情感分析方法 | |
CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
CN110738057A (zh) | 一种基于语法约束和语言模型的文本风格迁移方法 | |
CN111310474A (zh) | 基于激活-池化增强bert模型的在线课程评论情感分析方法 | |
CN113743083A (zh) | 一种基于深度语义表征的试题难度预测方法及系统 | |
EP4394759A1 (en) | Artificial intelligence-based audio processing method and apparatus, electronic device, computer program product, and computer-readable storage medium | |
CN113326374A (zh) | 基于特征增强的短文本情感分类方法及系统 | |
CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
CN117033602A (zh) | 一种多模态的用户心智感知问答模型的构建方法 | |
Udandarao et al. | InPHYNet: Leveraging attention-based multitask recurrent networks for multi-label physics text classification | |
CN111259147A (zh) | 基于自适应注意力机制的句子级情感预测方法及系统 | |
CN113239678B (zh) | 一种面向答案选择的多角度注意力特征匹配方法及系统 | |
CN117235347A (zh) | 一种基于大语言模型的青少年算法代码辅助学习系统及方法 | |
Divya et al. | Automation of Short Answer Grading Techniques: Comparative Study using Deep Learning Techniques | |
Aryadoust | Predicting item difficulty in a language test with an Adaptive Neuro Fuzzy Inference System | |
CN115577111A (zh) | 基于自注意力机制的文本分类方法 | |
Luo | Automatic short answer grading using deep learning | |
Wang et al. | Multi-level Feature Fusion for Automated Essay Scoring | |
Guo | RETRACTED: An automatic scoring method for Chinese-English spoken translation based on attention LSTM [EAI Endorsed Scal Inf Syst (2022), Online First] | |
CN112785039A (zh) | 一种试题作答得分率的预测方法及相关装置 | |
Dodia et al. | Machine Learning-based Automated System for Subjective Answer Evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |