CN108182177A - 一种数学试题知识点自动化标注方法和装置 - Google Patents

Abstract

一种数学试题知识点自动化标注方法，该标注方法基于深度学习模型，所述标注方法包括步骤：S1：数学试题文本进行预处理，包括分别进行标准化、分词和去停用词处理；S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；S3：搭建两层TextCNN神经网络模型，输入有标注的数学试题训练样本集，训练该神经网络模型，利用该模型实现对新入题库的数学题目进行知识点自动化标注。

Description

一种数学试题知识点自动化标注方法和装置

技术领域

本发明属于教学技术领域，特别涉及一种数学试题知识点自动化标注方法和装置。

背景技术

随着人工智能技术的不断发展，深度学习越来越多得被运用于语音识别，图像识别，自然语言处理等方面。深度学习的概念源于人工神经网络的研究，含多隐藏层的多层感知器就是一种深度学习结构。深度学习框架能够学习潜在的数据特征表示，从而找到特征数据与目标数据内在关系。在互联网教育领域，线上题库的建立与维护是“基石”。将新题目录入到题库的过程中，依赖于人工录入，且标注题目相关信息(如题目知识点、考点、难度、题目类型等)。该工作既费时又费力。

发明内容

本发明的实施例提供一种基于深度学习技术的数学试题知识点自动化标注方法和装置，目的在于解决现有的数学题库对于试题无法自动标注知识点的问题。

本发明的实施例之一是，一种数学试题知识点自动化标注方法，该标注方法基于深度学习模型，所述标注方法包括步骤：

S1：数学试题文本进行预处理，包括分别进行标准化、分词和去停用词处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；

S3：搭建两层TextCNN神经网络模型，输入有标注的数学试题训练样本集，训练该神经网络模型，利用该模型实现对新入题库的数学题目进行知识点自动化标注。

本发明的实施例之一，一种数学试题知识点自动化标注装置，所述自动化标注装置基于深度学习模型，该装置包括存储器；以及耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：

S1：数学试题文本进行预处理，包括分别进行标准化、分词和去停用词处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；

S3：搭建两层TextCNN神经网络模型，输入有标注的数学试题训练样本集，训练该神经网络模型，利用该模型实现对新入题库的数学题目进行知识点自动化标注。

本发明实施例还包括，一种基于深度学习的数学知识点自动化标注方法，包括如下步骤：

S1：准备标注好知识点的训练样本集，并对数学文本进行预处理。预处理工作具体包括文本标准化，规范化，分词，去停用词，tf-idf进行关键词提取。其中tf-idf算法，基于词频和逆文档率，计算词语得分，反映出该词语在该类文档中的重要性程度；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量，将结果保存为{词语/字符：词向量}的字典形式，为之后训练神经网络模型备用；

S3：搭建两层TextCNN神经网络模型，输入有标注的训练样本集，训练模型。具体工作包括模型框架设计，本方法搭建两层TextCNN网络，结构为词嵌入-卷积-池化-卷积-池化-dropout。其中，根据数学语言特点，设计多个不同视野的卷积核采集数学文本信息。词嵌入为预先训练的字符级\词语级的word2vec向量。

在本发明说明书中提到的分词、关键词提取、词嵌入，分别具有如下解释：

分词，针对中文文本无间隔特点，将其以词语单位分开，便于程序输入和后续分析处理。本方法采用jieba分词法，并总结出数学领域专有词表，对数学文本，连同数学表达式，进行分词。

关键词提取，对每一类知识点而言，都有比较重要的特征词，这些词语是重点关注的，还有一类词语，在数学文本中普遍出现或偶尔出现，利用tf-idf将低分词过滤掉，对数学文本进一步清理。

词嵌入，将词语向量化，不同于one-hot编码形式，而是用分布式表示，方便文本词语在计算机内的运算。

本发明基于深度学习技术，提供了一种数学题目知识点自动化标注系统，将对数学题目进行知识点标注转化为文本的多标签分类问题。本发明针对数学语言的特点，进行文本处理和神经网络设计，能够对新入库的数学题目进行知识点自动化标注。主要运用在，当新题入库时，不再需要人工通过阅读题目，理解题意，甚至在做完题目之后，为新题目标注题目考点，从而实现知识点标注的自动化。由于本发明实现了新题入库时的知识点自动化标注，大大提高了知识点标注效率，实现智能化。

本发明结合自然语言处理技术，先对数学题文和标准答案进行解析，再利用深度学习方法，对有标注的语料进行训练，利用训练好的模型对新题目进行知识点标注。通过上述方式，本发明能够省去大量人工标注工作，不仅高效，且准确率高。

本发明的有益效果包括：通过实现知识点标注的自动化，大大提高了对数学题目知识点标注的工作效率和准确率。进一步的，由于知识点是题目重要特征之一，准确高效的知识点标注，为下一步的智能组卷和试题推荐的精准性提供了基础性保障，对智能组卷和试题推荐等运用具有重要意义。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本发明实施例中一种基于深度学习的数学知识点自动化标注方法流程图。

图2是本发明实施例中基于深度学习的数学知识点自动化标注实例处理流程图。

具体实施方式

实施例一如图1所示，一种基于深度学习的数学知识点自动化标注方法，包括如下步骤：

S1：准备标注好知识点的训练样本集，并对数学文本进行预处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量，将结果保存为{词语/字符：词向量}的字典形式，为之后训练神经网络模型备用；S3：搭建两层TextCNN神经网络模型，输入有标注的训练样本集，训练模型。

具体工作中包括模型框架设计，本发明采用搭建两层TextCNN网络，结构为词嵌入-卷积-池化-卷积-池化-dropout。其中设计多个不同视野的卷积核采集数学文本信息。词嵌入为预先训练的字符级\词语级的word2vec向量，本发明训练的词向量模型为CBOW模型。

在另一个实施例中，所述步骤S1具体包括一下步骤：

S11:将数学题目和解析合并为数学文本，对数学文本进行预处理。首先进行标准化，同一化。例如：“推想|推测|推断|类推|猜想“都同一化为“推理”等。

S12:本方法分别按字符级，词级别对文本拆分。对于词语级别，本方法采用jieba工具包加数学领域专有词表对文本进行分词，包括文本中的数学公式，符号等。

S13:对文本进行关键词提取，具体方法采用tf-idf算法，计算每个关键词或字符在每类知识点中的tf-idf得分，过滤掉低分词。

在另一实施例中，所属步骤S3具体包括以下步骤：

S31:搭建两层TextCNN神经网络，其中embedding层输入为预训练的词向量(字符级或词语级)。并结合数学语言特点，设计多个不同大小的卷积核。采用dropout和l2范式防止模型过拟合。

S32:将文本和知识点类别标签编码为0，1离散型向量输入到神经网络中，将模型转化为多个独立二分类来进行训练，并对正样本进行加权以解决正负样本不平衡问题。最终确定概率值大于阈值的类别索引为该题的知识点。

本发明的实施例二

一种基于深度学习的数学知识点自动化标注方法，包括：

S1：数学文本预处理，分别进行标准化，分词和去停用词处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；

S3：搭建两层TextCNN神经网络模型，输入有标注的训练样本集，训练模型；

所述步骤S1具体包括以下步骤：

S11:对数学文本进行标准化，主要做文本规范化和同义词替换。例如：“图象”替换为“图像”，“°|circ|degree”替换为“度”，“//|parallel”替换为“平行”等。去停用词即去掉高频且无重要意义的词语，如“的”，“,”，“！”，“\”等。

S12:用tf-idf对每类知识点题目进行关键词筛选，去掉tf-idf得分低的词语。具体做法为按知识点对数学文本进行分类，包含该知识点的所有题文作为该知识点的语料库进行关键词提取，并去掉低分词。

所述步骤S2具体包括以下步骤：

S21:准备十万级以上数学文本作为数学领域语料库进行词向量训练，分别按字符级别，词级别训练词向量备用。对于词语级别的词向量训练，首先要针对数学文本进行分词。本方法采用jieba分词工具，但在jieba分词的基础上，添加了数学领域专有名词表，使得分词更有针对性，且准确率更高。本方法创新性得将数学文本中的表达式也一起分词，这样可以分出表达式中的组合信息，例如：y＝sin(x)-ln(x)，分词结果为“y/＝/sin/(/x/)/-/ln/(/x/)”，这样可以得到更多关于表达式的信息，结果证明该方法简单且高效。

S22:采用gensim工具包进行词向量训练，本方法选择CBOW模型。

所述步骤S3具体包括以下步骤：

搭建TextCNN网络结构为：Embedding--conv--max_pooling--conv--max_pooling--dropout。其中embedding层为预训练的词向量。采用多个不同大小的卷积核大小，使得神经网络有更丰富的视野，获取更多题文信息。

如图2所示，一种基于深度学习的数学知识点自动化标注方法，基于实例处理过程，具体说明本方法的实施过程(以字符级分词为例)。包括如下步骤：

S1:对一道新入库的题目(题文+解析):一个四面体的三视图如图所示,则该四面体的表面积是()四面体的直观图如图所示,设O是AC的中点,则OP＝OB＝1,因此PB＝\sqrt2,于是,S_{PAB}＝S_{PBC}＝\frac{1}{2}\times\frac{{\sqrt 6}}{2}\times\sqrt 2＝\frac{{\sqrt 3}}{2},S_{PAC}＝S_{ABC}＝\frac{1}{2}\times{2}\times{1＝1},故四面体的表面积S＝{2}\times{1+2}\times\frac{{\sqrt 3}}{2}{＝2+}\sqrt 3，经过去停用词和tf-idf筛选后的文本为：“一/个/四/面/体/三/视/图/如/图/所/示/则/该/四/面/体/表/面/积/是/#/四/面/体/直/观/图/如/图/所/示/设/O/是/A/C/中/点/则/O/P/＝/O/B/＝/1/因/此/P/B/＝/s/q/r/t/2/于/是/S/P/A/B/＝/S/P/B/C/＝/f/r/a/c/1/2/t/i/m/e/s/f/r/a/c/s/q/r/t/6/2/t/i/m/e/s/s/q/r/t/2/＝/f/r/a/c/s/q/r/t/3/2/S/P/A/C/＝/S/A/B/C/＝/f/r/a/c/1/2/t/i/m/e/s/2/t/i/m/e/s/1/＝/1/故/四/面/体/表/面/积/S/＝/2/t/i/m/e/s/1/+/2/t/i/m/e/s/f/r/a/c/s/q/r/t/3/2/＝/2/+/s/q/r/t/3”。

S2:文本向量化：具体为有基于数学语料得到的字符索引词典，将字符映射为相应的词典索引序列。如下表所示：

S3:利用训练好的模型，预测新题目对应的标签索引。通过计算该题目可能取到各个考点的概率值大小(0.32,0.75,0.03,0.81,…,0.045)，输出大于阈值的索引号为最终预测类别(1,3)。其中，阈值即为区分是否取到该类别的判断标准值，为临界值，大于该值，则认为取到该类别，否则认为取不到该类别。

S4:利用考点索引与考点对应的词典，将预测输出的类别序列映射为考点。索引号与考点映射表为：{0:函数的值域,1:空间几何体的特征、三视图和直观图,2:三角函数的综合应用,3:空间几何体的表面积与体积……}，在确定本题考点为：空间几何体的特征、三视图和直观图,空间几何体的表面积与体积。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (6)

1.一种数学试题知识点自动化标注方法，该标注方法基于深度学习模型，其特征在于，所述标注方法包括步骤：

S1：数学试题文本进行预处理，包括分别进行标准化、分词和去停用词处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；

S3：搭建两层TextCNN神经网络模型，输入有标注的数学试题训练样本集，训练该神经网络模型，利用该模型实现对新入题库的数学题目进行知识点自动化标注。

2.如权利要求1所述数学试题知识点自动化标注方法，其特征在于，所述步骤S1具体包括以下步骤：

S11:通过文本规范化和同义词替换对数学文本进行标准化；

S12:用tf-idf对每类知识点题目进行关键词筛选，去掉tf-idf得分低的词语。

3.如权利要求1所述数学试题知识点自动化标注方法，其特征在于，所述步骤S2具体包括以下步骤：

S21:准备多个数学文本作为数学领域语料库进行词向量训练，分别按字符级别、词语级别训练词向量备用，对于词语级别的词向量训练，首先针对数学文本进行分词；

S22:采用工具包进行词向量训练。

4.如权利要求3所述数学试题知识点自动化标注方法，其特征在于，步骤S21中，分词时，将数学文本中的表达式也一起分词，分出表达式中的组合信息。

5.如权利要求1所述数学试题知识点自动化标注方法，其特征在于，所述步骤S3具体包括以下步骤：

S31:搭建两层TextCNN神经网络，其中embedding层输入为预训练的词向量，并结合数学语言特点，设计多个不同大小的卷积核；

S32:将文本和知识点类别标签编码为0、1离散型向量输入到神经网络中，将模型转化为多个独立二分类来进行训练，并对正样本进行加权以解决正负样本不平衡问题，最终确定概率值大于阈值的类别索引为试题的知识点。

6.一种数学试题知识点自动化标注装置，其特征在于，所述自动化标注装置基于深度学习模型，该装置包括存储器；以及

耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：

S1：数学试题文本进行预处理，包括分别进行标准化、分词和去停用词处理；

S2：准备数学领域语料库，分别按字符级别，词级别训练数学领域词向量；

S3：搭建两层TextCNN神经网络模型，输入有标注的数学试题训练样本集，训练该神经网络模型，利用该模型实现对新入题库的数学题目进行知识点自动化标注。