CN113094489A - 基于疑问词分类器的神经网络问题生成方法及生成系统 - Google Patents
基于疑问词分类器的神经网络问题生成方法及生成系统 Download PDFInfo
- Publication number
- CN113094489A CN113094489A CN202110498928.7A CN202110498928A CN113094489A CN 113094489 A CN113094489 A CN 113094489A CN 202110498928 A CN202110498928 A CN 202110498928A CN 113094489 A CN113094489 A CN 113094489A
- Authority
- CN
- China
- Prior art keywords
- word
- neural network
- questioning
- classifier
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
基于疑问词分类器的神经网络问题生成方法及生成系统，涉及互联网技术领域，解决现有基于分类器的网络模型存在生成问题中的疑问词不准确，导致存在根本性错误等问题，生成系统包括答案位置标注模块、疑问词分类器、疑问词添加模块以及神经网络问题生成模型；本发明在神经网络问题生成任务的基础上，将疑问词预测任务建模为一个独立的分类任务，即在神经网络问题生成模型之前，引入一个疑问词分类器，先通过疑问词分类器识别最可能提问的疑问词，再生成完整的问题。目的是提高疑问词生成的准确率和可解释性，最终减小所生成问题和真实问题的差异，提高问题的质量。
Description
技术领域
本发明涉及互联网技术领域，具体涉及一种基于疑问词分类器的神经网络问题生成方法及生成系统。
背景技术
随着计算机技术发展，计算机算力逐渐加强，机器学习、深度学习技术进一步得到发展，自然语言处理逐渐应用到各个场景，例如利用文本分类技术在电影评论、购物的商品评论中挖掘用户偏好、利用摘要生成技术对新闻等文章进行归纳总结，或是通过机器翻译技术，实现同步翻译等。大量的应用场景需要技术，同时随着国内互联网用户的增加，其产生的信息也越来越多。对于海量数据，自动化处理文本信息更凸显其重要意义。因此，由于自然语言处理技术的不可代替及其对于文本处理的超高效率，受到社会广泛关注。
在自然语言处理领域，问题生成(Question Generation，QG)是一个新兴的热门研究课题。传统意义上，QG的定义是给定一篇文本，里面包含一些重要的事实，将这些事实作为待提问答案，由机器自动提出合理的问题。简单的说，QG可以定义为一个优化问题，即在给定文本和答案的前提下，最大化生成合理问题的概率。问题生成具有丰富的实践意义和价值，其应用场景包括：在教育领域，问题生成可以帮助学生思考和提问，以提高阅读理解的能力；在对话系统中，问题生成可以作为冷启动来开始一个话题或者通过对用户的陈述展开提问，提高用户体验；在医药领域，可以用于自动问诊系统，作为一种辅助工具等等。
随着深度学习的发展，端到端神经网络技术已经普遍应用于自然语言处理领域。所谓“端到端”，是指输入端和输出端都是文本序列。端到端神经网络模型通常由一个编码器和一个解码器组成，编码器负责对输入序列进行编码，提取重要的特征，解码器负责识别这些特征，并输出目标序列。而编码器和解码器分别是由神经网络组成，常用的神经网络包括循环神经网络(Recurrent Neural Network，RNN)以及卷积神经网络(ConvolutionalNeural Network，CNN)。相较于传统的机器学习方法，端到端神经网络模型不用人工设计算法提取特征，特征的提取全部是由神经网络完成，减少了人力劳动成本，并且性能更加优越。现有技术多采用基于注意力机制的端到端神经网络模型和其改进。
首次提出基于端到端神经网络问题生成模型的(Learning to Ask:NeuralQuestion Generation for Reading Comprehension，学习去提问：阅读理解的神经问题生成)的文章中，提出将一段文本输入端到端神经网络模型，生成一个问题：
首先，将原始文本转换成词向量的形式，输入到一个编码器中，获取文本的语义特征向量；其次，将特征向量输入到一个解码器中，并添加注意力机制强化对输入文本的理解能力，获取解码后的向量；最后，通过一个全连接层，在每个时刻输出一个单词，最终组成一个问题。该模型的编码器是由一个双向长短期记忆神经网络(Bi-LSTM：BidirectionalLong Short Term Memory)组成，解码器是由一个单向LSTM组成。其中，LSTM是循环神经网络的一种。
如图1所示，现有技术之一的(Paragraph-level Neural Question Generationwith Maxout Pointer and Gated Self-attention Networks，基于最大输出指针和门控自注意力的段落级神经问题生成)的文章中，提到用门控自注意力(Gated Self-attention)和最大输出指针(Maxout Pointer)技术，对更长的输入文本生成问题并减少重复词的产生：
图1中，mt为t时刻输入单词的答案标签向量；et为t时刻输入单词的词向量；ut为t时刻编码器双向LSTM输出的向量；st为t时刻自注意力向量；
为t时刻编码器特征融合门输出的向量；dt为t时刻解码器LSTM输出的向量；rt为t时刻解码器注意力得分向量；
为t时刻解码器注意力向量；yt-1为t-1时刻输入解码器的目标单词向量。
首先，将原始文本的词向量和答案标签向量进行拼接，输入到Bi-LSTM的编码器中；其次，将获取的语义特征向量输入到一个门控自注意力模块，抽取文本中和答案相关的信息向量；最后，将所得向量输入到一个单层LSTM的解码器中，利用Maxout Pointer技术，从原始文本中复制有用的单词作为答案的一部分。如果没有合适的复制单词则从词表中选择一个进行输出，最终生成一个完整的问题。本发明的神经网络问题生成模型就是基于这篇论文的成果。
在研究的过程中发现，对于上述现有技术中，存在以下缺点：
生成的问题往往疑问词不准确，例如答案是一个人名，应该以疑问词“who”提问，但生成的问题却是以“where”、“when”等，直接导致生成的问题发生根本性的错误。
发明内容
本发明为解决现有基于分类器的网络模型存在生成问题中的疑问词不准确，导致存在根本性错误等问题，提供一种基于疑问词分类器的神经网络问题生成方法及生成系统。
基于疑问词分类器的神经网络问题生成方法，包括以下步骤：
步骤一、将语料按照真实疑问词的类别进行划分，通过降采样和过采样使得每个类别的样本数量达到均衡；
步骤二、对原始输入文本中的答案词两边添加答案位置标记符，获得预处理后的数据；
步骤三、构建疑问词分类器，所述疑问词分类器由预训练语言模型BERT和前馈神经网络FNN组成；
步骤三一、预训练语言模型BERT模型作为文本特征提取器，对于输入原始文本提取特征向量C；
步骤三二、将BERT模型提取到的特征向量C输入到FNN中，首先通过一个训练参数矩阵Wc将特征向量C映射到一个维度为8的向量矩阵中，每个元素对应一个类别，再通过softmax函数，计算每个类别的概率，输出0-7中的概率最大的类别的id标识P，用下式表示为：
P＝softmax(WcC)
步骤四、将步骤二的预处理后的数据划分为训练集、评估集和测试集，分别用于对步骤三所述的疑问词分类器进行训练、评估和测试；
步骤五、采用步骤四测试后的疑问词分类器进行预测，将预测后的疑问词添加到所述原始输入文本的句首，获得预测后的文本；
步骤六、利用词向量映射表，将步骤五获得的预测后的文本映射为向量形式表示，输入的文本即数值化为每个字符向量列连接成的数值矩阵；
步骤七、将步骤六获得的数值矩阵输入到神经网络问题生成模型，输出完整的问题。
基于疑问词分类器的神经网络问题生成系统，该生成系统包括答案位置标注模块、疑问词分类器、疑问词添加模块以及神经网络问题生成模型；
所述答案位置标注模块用于对原始输入文本中的答案词两边添加答案位置标记符，获得预处理后的数据；
所述疑问词分类器由预训练语言模型BERT和前馈神经网络FNN组成；采用预训练语言模型BERT对原始输入文提取特征向量C，并将提取的特征向量C输入至前馈神经网络FNN中，
所述前馈神经网络FNN对特征向量C进行映射，每个元素对应一个类别，再通过softmax函数，计算每个类别的概率，输出0-7中的概率最大的类别的id标识；
采用预处理后的数据对疑问词分类器进行训练和测试；并将预测后的疑问词通过疑问词添加模块添加到所述原始输入文本的句首，获得预测后的文本；
将所述预测后的文本映射为向量形式表示，即：将文本数值化为每个字符向量列连接成的数值矩阵；
所述数值矩阵输入到所述神经网络问题生成模型，通过该模型输出完整的问题。
本发明的有益效果：本发明所述的基于疑问词分类器的神经网络问题生成方法由两个模块组成，一个是疑问词分类器，另一个是基于端到端神经网络的问题生成模型，对包含答案的文本先输入到一个疑问词分类器，确定所生成的问题应该以何种疑问词提问最准确，然后将疑问词和原始文本一起输入到神经网络问题生成模型，模型能够自适应选择合理的疑问词展开提问，最终减小所生成问题和真实问题的差异，有效提高生成问题的质量。
本发明所述的基于疑问词分类器的神经网络问题生成方法，将问题生成任务中的疑问词预测任务建模为独立的分类任务，利用现有较先进的预训练语言模型BERT实现该疑问词分类器，再将疑问词分类器与传统的神经网络问题生成模型相结合，将疑问词分类器预测的结果和原始文本输入到问题生成模型中，生成完整的问题。疑问词分类器可以有效提高生成疑问词的准确率和可解释性。
附图说明
图1为现有基于最大输出指针(Maxout Pointer)和门控自注意力网络(GatedSelf-attention Networks)的问题生成模型示意图。
图2为本发明所述的基于疑问词分类器的神经网络问题生成方法中基于BERT的文本分类模型的示意图。
图3为本发明所述的基于疑问词分类器的神经网络问题生成方法中前馈神经网络示意图。
图4为本发明所述的基于疑问词分类器的神经网络问题生成系统的原理框图。
具体实施方式
具体实施方式一、结合图2和图3说明本实施方式，基于疑问词分类器的神经网络问题生成方法，该方法由以下步骤实现：
步骤一、将语料按照真实疑问词的类别进行划分，通过降采样和过采样使得每个类别的样本数量达到均衡；
将常见的疑问词分成8个类别，数字0-7表示对应类别id：：what(0)、which(1)、who(2)、when(3)、where(4)、how(5)、why(6)、other(7)，其中other是指以助动词和情态动词为疑问词的类别。对于样本数量较少的类别通过降采样方法，即通过重复利用，补充到与其它类别数量相同。对于数量较多的类别，通过过采样方法随机抽取部分样本，直到与其它类别数量相同。本实施方式中利用大规模的斯坦福问答数据集(SQuAD：The Stanford QuestionAnswering Dataset)，得到样本总量为3.2万的可用数据集，每个类别的样本数量为4000条。
步骤二、数据集预处理，对原始输入文本中的答案词两边添加答案位置标记符，目的是使得模型识别答案特征，有针对性地进行分类任务；
本实施方式中，添加答案位置标记符是在答案词的前后添加“[ANS]”标记符，并且将[ANS]标记符作为一个特殊单词添加到词表中。如：[ANS]The owner[ANS]produces alist of requirement for…，其中The owner为答案词。目的为了让模型能知道哪个词是答案，以针对性的提出问题。
步骤三、构建疑问词分类器，疑问词分类器由预训练语言模型BERT和一个前馈神经网络组成；构建疑问词分类器的具体步骤如下：
S1、BERT模型为文本特征提取器，对于输入文本提取特征，并以向量的形式输出，记为C。具体而言，本文采用的BERT模型是BERT-Base-Uncased模型，该模型由12层transformer组成，隐藏向量维度为768，共110M个参数，Uncased是指输入文本不区分大小写。
S2、将BERT提取到的特征向量C输入到FNN中，首先通过一个可训练参数矩阵Wc将特征向量映射到一个维度为8的向量，每个元素对应一个类别，再通过一个softmax函数，计算每个类别的概率大小，输出0-7中的概率最大的类别id，表示如下：
P＝softmax(WcC)
本实施方式中，构建疑问词分类器，疑问词分类器是由BERT模型和一个前馈神经网络的组合。BERT是谷歌AI团队于2018年10月发布的预训练模型，被认为是NLP领域的极大突破，刷新了11个NLP任务的当前最优结果。BERT的全称是Bidirectional EncoderRepresentation from Transformers，即基于Transformers的双向编码表征模型通过左、右两侧上下文来预测当前词和通过当前句子预测下一个句子，预训练的BERT表征可以仅用一个额外的输出层进行微调，在不对任务特定架构做出大量修改条件下，就可以为很多任务创建当前最优模型。BERT基于Transformers的双向编码表征模型，该模型的主要创新点都在预训练方法上，即用了掩蔽语言模型(MaskedLM)和下一句预测(Next SentencePrediction)两种方法分别捕捉词语和句子级别的表示。如图2所示，是基于BERT的文本分类模型，模型最终将[CLS]标记符对应的输出向量C作为输入文本的语义特征表示，再输入到一个前馈神经网络进行分类。
设定Toki为第i个输入单词，Ei为第i个输入单词的词向量；Ti为BERT模型第i个输出向量；[CLS]为BERT模型特殊标记符，位于输入文本开头；C为[CLS]标记符对应的输出向量；Pk为第k个疑问词类别对应的概率。对应于图3中，Tok1，Tok2，…，TokN为第1个输出单词到第N个输入单词，E1，E2，…，EN为对应输入单词的词向量；T1，T2，…，TN分别对应BERT模型的输出向量；[CLS]为BERT模型特殊标记符，位于输入文本开头；C为[CLS]标记符对应的输出向量；P0至P7分别为疑问词类别对应的概率。
本实施方式中，前馈神经网络(feedforward neural network，FNN)，简称前馈网络，是人工神经网络的一种。如图3所示，前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层(或隐藏层、隐层)。隐层可以是一层，也可以是多层。图中，x1、x2、x3、x4为输入向量，y为输出值。
步骤四、将步骤二预处理后的数据划分为训练集、评估集和测试集，训练疑问词分类器，并测试分类器的性能；
将数据集按照7:2:1的比例划分为训练集、评估集和测试集，对疑问词分类器进行训练，即对BERT模型进行微调(fine-tune)，使BERT模型自适应本次疑问词分类任务。至此，一个疑问词分类器训练完成。之后，采用测试集对其进行性能测试。
步骤五、将疑问词分类器预测得到的疑问词添加到原始输入文本的句首；
步骤六、利用词向量映射表，将步骤五所得文本映射为向量表示，输入的文本即数值化为每个字符向量列连接而成的数值矩阵；
所述词向量映射表采用Glove词表，将每个单词用词表中的向量进行表示，每个词向量维度为300。如果单词不在词向量表中，则随机初始化为一个300维的向量。假设输入文本长度为M，则数值矩阵大小为M×300。
步骤七、将数值矩阵输入到神经网络问题生成模型，输出完整的问题。
采用的神经网络问题生成模型为较为先进的基于门控自注意力的段落级问题生成模型，在该模型的基础上对比添加疑问词分类器前后的结果，表明疑问词分类器的有效性。
本实施方式中，通过构建一个基于BERT模型和前馈神经网络的疑问词分类器。通过大规模问答数据集Squad训练该疑问词分类器。在传统的神经网络问题生成模型之前，添加疑问词分类器，目的是在直接生成之前，先识别以哪种疑问词进行提问，提高了疑问词生成的准确率和可解释性，从而提高了问题的质量。
具体实施方式二、结合图4说明本实施方式，本实施方式为具体实施方式一所述的基于疑问词分类器的神经网络问题生成方法的生成系统，该生成系统包括答案位置标注模块、疑问词分类器、疑问词添加模块以及神经网络问题生成模型；
所述答案位置标注模块用于对原始输入文本中的答案词两边添加答案位置标记符，获得预处理后的数据；
所述疑问词分类器由预训练语言模型BERT和前馈神经网络FNN组成；采用预训练语言模型BERT对原始输入文提取特征向量C，并将提取的特征向量C输入至前馈神经网络FNN中，
所述前馈神经网络FNN对特征向量C进行映射，每个元素对应一个类别，再通过softmax函数，计算每个类别的概率，输出0-7中的概率最大的类别的id标识；
采用预处理后的数据对疑问词分类器进行训练和测试；并将预测后的疑问词通过疑问词添加模块添加到所述原始输入文本的句首，获得预测后的文本；
将所述预测后的文本映射为向量形式表示，即：将文本数值化为每个字符向量列连接成的数值矩阵；
所述数值矩阵输入到所述神经网络问题生成模型，通过该模型输出完整的问题。
本实施方式在神经网络问题生成任务的基础上，将疑问词预测任务建模为一个独立的分类任务，即在神经网络问题生成模型之前，引入一个疑问词分类器，先通过疑问词分类器识别最可能提问的疑问词，再生成完整的问题。目的是提高疑问词生成的准确率和可解释性，最终减小所生成问题和真实问题的差异，提高问题的质量。疑问词分类器由大规模预训练模型BERT和一个前馈神经网络组成。将常见疑问词划分为8类，对大规模问答数据集SQuAD进行数据预处理，得到符合该分类任务的数据集，然后训练并测试疑问词分类器。将疑问词分类器预测的疑问词添加到原始输入文本中，输入到神经网络问题生成模型，最终生成完整的问题。疑问词分类器可以提高疑问词生成的准确率和可解释性，从而提高生成问题的质量。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (4)
1.基于疑问词分类器的神经网络问题生成方法，其特征是：该方法由以下步骤实现：
步骤一、将语料按照真实疑问词的类别进行划分，通过降采样和过采样使得每个类别的样本数量达到均衡；
步骤二、对原始输入文本中的答案词两边添加答案位置标记符，获得预处理后的数据；
步骤三、构建疑问词分类器，所述疑问词分类器由预训练语言模型BERT和前馈神经网络FNN组成；
步骤三一、预训练语言模型BERT模型作为文本特征提取器，对于输入原始文本提取特征向量C；
步骤三二、将BERT模型提取到的特征向量C输入到FNN中，首先通过一个训练参数矩阵Wc将特征向量C映射到一个维度为8的向量矩阵中，每个元素对应一个类别，再通过softmax函数，计算每个类别的概率，输出0-7中的概率最大的类别的id标识P，用下式表示为：
P＝softmax(WcC)
步骤四、将步骤二的预处理后的数据划分为训练集、评估集和测试集，分别用于对步骤三所述的疑问词分类器进行训练、评估和测试；
步骤五、采用步骤四测试后的疑问词分类器进行预测，将预测后的疑问词添加到所述原始输入文本的句首，获得预测后的文本；
步骤六、利用词向量映射表，将步骤五获得的预测后的文本映射为向量形式表示，输入的文本即数值化为每个字符向量列连接成的数值矩阵；
步骤七、将步骤六获得的数值矩阵输入到神经网络问题生成模型，输出完整的问题。
2.根据权利要求1所述的基于疑问词分类器的神经网络问题生成方法，其特征在于：步骤六中，所述词向量映射表采用Glove词表。
3.根据权利要求1所述的基于疑问词分类器的神经网络问题生成方法，其特征在于：步骤七中，所述神经网络问题生成模型为基于门控自注意力的段落级问题生成模型。
4.根据权利要求1-3所述的基于疑问词分类器的神经网络问题生成方法的生成系统，其特征是：该生成系统包括答案位置标注模块、疑问词分类器、疑问词添加模块以及神经网络问题生成模型；
所述答案位置标注模块用于对原始输入文本中的答案词两边添加答案位置标记符，获得预处理后的数据；
所述疑问词分类器由预训练语言模型BERT和前馈神经网络FNN组成；采用预训练语言模型BERT对原始输入文提取特征向量C，并将提取的特征向量C输入至前馈神经网络FNN中，
所述前馈神经网络FNN对特征向量C进行映射，每个元素对应一个类别，再通过softmax函数，计算每个类别的概率，输出0-7中的概率最大的类别的id标识；
采用预处理后的数据对疑问词分类器进行训练和测试；并将预测后的疑问词通过疑问词添加模块添加到所述原始输入文本的句首，获得预测后的文本；
将所述预测后的文本映射为向量形式表示，即：将文本数值化为每个字符向量列连接成的数值矩阵；
所述数值矩阵输入到所述神经网络问题生成模型，通过该模型输出完整的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110498928.7A CN113094489A (zh) | 2021-05-08 | 2021-05-08 | 基于疑问词分类器的神经网络问题生成方法及生成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110498928.7A CN113094489A (zh) | 2021-05-08 | 2021-05-08 | 基于疑问词分类器的神经网络问题生成方法及生成系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113094489A true CN113094489A (zh) | 2021-07-09 |
Family
ID=76664168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110498928.7A Pending CN113094489A (zh) | 2021-05-08 | 2021-05-08 | 基于疑问词分类器的神经网络问题生成方法及生成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113094489A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491514A (zh) * | 2018-03-26 | 2018-09-04 | 清华大学 | 对话系统中提问的方法及装置、电子设备、计算机可读介质 |
| US20190043379A1 (en) * | 2017-08-03 | 2019-02-07 | Microsoft Technology Licensing, Llc | Neural models for key phrase detection and question generation |
| CN109684452A (zh) * | 2018-12-25 | 2019-04-26 | 中科国力(镇江)智能技术有限公司 | 一种基于答案与答案位置信息的神经网络问题生成方法 |
| CN111782787A (zh) * | 2020-07-02 | 2020-10-16 | 苏州思必驰信息科技有限公司 | 问题生成模型训练方法、问题生成方法 |
| CN112307773A (zh) * | 2020-12-02 | 2021-02-02 | 上海交通大学 | 机器阅读理解系统的自定义问题数据自动生成方法 |
-
2021
- 2021-05-08 CN CN202110498928.7A patent/CN113094489A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190043379A1 (en) * | 2017-08-03 | 2019-02-07 | Microsoft Technology Licensing, Llc | Neural models for key phrase detection and question generation |
| CN108491514A (zh) * | 2018-03-26 | 2018-09-04 | 清华大学 | 对话系统中提问的方法及装置、电子设备、计算机可读介质 |
| CN109684452A (zh) * | 2018-12-25 | 2019-04-26 | 中科国力(镇江)智能技术有限公司 | 一种基于答案与答案位置信息的神经网络问题生成方法 |
| CN111782787A (zh) * | 2020-07-02 | 2020-10-16 | 苏州思必驰信息科技有限公司 | 问题生成模型训练方法、问题生成方法 |
| CN112307773A (zh) * | 2020-12-02 | 2021-02-02 | 上海交通大学 | 机器阅读理解系统的自定义问题数据自动生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611377B (zh) | 基于知识蒸馏的多层神经网络语言模型训练方法与装置 | |
| CN107590127B (zh) | 一种题库知识点自动标注方法及系统 | |
| CN110609891A (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| CN111008293A (zh) | 基于结构化语义表示的视觉问答方法 | |
| CN109902301B (zh) | 基于深度神经网络的关系推理方法、装置及设备 | |
| CN110298043B (zh) | 一种车辆命名实体识别方法及系统 | |
| CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| CN110704576A (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN111563146B (zh) | 一种基于推理的难度可控问题生成方法 | |
| CN110263325A (zh) | 中文分词系统 | |
| CN113569001A (zh) | 文本处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN113626589B (zh) | 一种基于混合注意力机制的多标签文本分类方法 | |
| CN109933792A (zh) | 基于多层双向lstm和验证模型的观点型问题阅读理解方法 | |
| CN107679225A (zh) | 一种基于关键词的回复生成方法 | |
| CN111914553B (zh) | 一种基于机器学习的金融信息负面主体判定的方法 | |
| CN114780723B (zh) | 基于向导网络文本分类的画像生成方法、系统和介质 | |
| CN110597968A (zh) | 一种回复选择方法及装置 | |
| CN115080715B (zh) | 基于残差结构和双向融合注意力的跨度提取阅读理解方法 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| Fang et al. | A method of automatic text summarisation based on long short-term memory | |
| CN116341651A (zh) | 实体识别模型训练方法、装置、电子设备及存储介质 | |
| CN115238691A (zh) | 基于知识融合的嵌入的多意图识别与槽位填充模型 | |
| CN111767720B (zh) | 一种标题生成方法、计算机及可读存储介质 | |
| CN114387537A (zh) | 一种基于描述文本的视频问答方法 | |
| CN114153942A (zh) | 一种基于动态注意力机制的事件时序关系抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240405 |
|
| AD01 | Patent right deemed abandoned |