CN115599901A - 基于语义提示的机器问答方法、装置、设备及存储介质 - Google Patents
基于语义提示的机器问答方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115599901A CN115599901A CN202211601795.2A CN202211601795A CN115599901A CN 115599901 A CN115599901 A CN 115599901A CN 202211601795 A CN202211601795 A CN 202211601795A CN 115599901 A CN115599901 A CN 115599901A
- Authority
- CN
- China
- Prior art keywords
- answer
- question
- text
- entity
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013604 expression vector Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种基于语义提示的机器问答方法、装置、设备及存储介质。所述方法包括：将机器问答拆分为实体识别和意图识别两个子任务，并根据意图识别结果对实体识别结果进行预过滤，得到候选实体列表；根据提示学习算法构建答案模版，并将答案模版输入预先构建的答案判定模型进行判定，得到最终的实体结果；选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。采用本方法能够分别对机器问答中的背景和问题分别进行实体识别和意图识别，并通过提示学习算法来增强机器问答的准确性，能够在少样本甚至零样本条件下达到很好的机器问答准确率。
Description
技术领域
本申请涉及自然语言处理中的机器问答技术领域，特别是涉及一种基于语义提示的机器问答方法、装置、设备及存储介质。
背景技术
随着大规模预训练语言模型的出现，自然语言处理技术的发展迎来了突破性的进展，诸如实体识别、情感分析、词性标注和机器问答等常见任务，通过在大规模语料库上无监督训练后的语言模型，可以学习到语言的深层的通用表示，并用于多种自然语言处理任务中，针对不同的任务进行结构和参数的微调，即能够实现在少量成本的情况下实现较好的预测效果。当前，针对预训练模型的应用方式是通过提示学习的方式使预测任务向模型训练的目标函数靠近，而不是调整模型，实现零样本训练并达到更好的预测准确率。
机器问答作为自然语言处理的重要任务，通常是在一段给定的背景文本中，根据问题预测答案在文本中的位置。由于该任务包含了对文本的阅读理解能力，通常被作为其他任务的代理任务，通过设计提示模板，将诸如情感分析和实体识别任务转换为机器问答进行预测。而机器问答本身却并没有相关提示学习的增强方法；除此以外，机器问答需要对背景文本和问题意图同时进行学习理解，并准确给出问题对应答案的起止位置，其难度相比其他任务要大得多，因此在自然语言处理众多任务中，机器问答的准确率较低并且提升困难。
发明内容
基于此，有必要针对上述技术问题，提供一种能够增强机器问答的准确率的基于语义提示的机器问答方法、装置、设备及存储介质。
一种基于语义提示的机器问答方法，所述方法包括：
将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习，得到最终的机器问答模型。
在其中一个实施例中，将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表，包括：
将机器问答中的背景文本输入已在大规模文本数据集上完成训练的实体识别模块进行识别，得到与背景文本长度相同的实体列表标签序列，并根据实体列表标签序列标记背景文本中每一个字的实体类型。
在其中一个实施例中，根据问题意图对实体列表进行过滤，得到候选实体列表，包括：
当问题意图与实体列表的空间一致时，根据问题意图直接对实体列表进行过滤，得到候选实体列表；
否则，设置问题意图与实体列表之间的映射规则，完成映射后根据问题意图对实体列表进行过滤，得到候选实体列表。
在其中一个实施例中，通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，包括：
根据候选实体列表中的标签划定候选实体的边界范围，根据边界范围构建候选实体文本列表
，其中，k表示候选实体的总数，
是背景文本中一段连续的字符串，表示第i个候选实体，其格式为
，
表示实体类型对应的标识符，
表示
在背景文本中的起始索引位置，
表示 
在背景文本中的结束索引位置；
将候选实体与背景文本、问题文本、和预先构建的提示模版进行拼接，构建得到答案模版，表示为
其中，
表示文本起始符，
表示背景文本，
表示文本分隔符，
表示问题文本，
表示预先构建的提示模版。
在其中一个实施例中，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果，包括：
将答案模版划分为第一段落和第二段落，其中，第一段落包括背景文本，第二段落包括问题文本、提示模版和候选实体；
将答案模版输入预训练语言模型进行计算，得到答案模版的嵌入表示向量；其中，嵌入表示向量的长度与预训练语言模型的输出层维度一致；
将嵌入表示向量输入分类器进行句间连贯性预测，得到答案模版中第一段落与第二段落的句间连贯性概率值，通过指数归一化层对句间连贯性概率值进行归一化处理，选择概率值最高的答案模版对应的候选实体作为最终问题答案，得到所述问题意图对应的最终实体结果。
在其中一个实施例中，将答案模版输入预训练语言模型进行计算，得到答案模版的嵌入表示向量，包括：
将答案模版中的文本起始符输入预训练语言模型进行编码，得到文本起始符编码向量，将文本起始符编码向量作为答案模版的嵌入表示向量输入分类器进行句间连贯性预测。
在其中一个实施例中，选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型，包括：
训练过程的评估函数由两部分累加组成，分别是实体识别部分对实体类型预测的交叉熵误差和合成模板的语句连贯性预测的交叉熵误差。
根据提示学习算法选取少量样本对实体识别模块中的分类器和答案判定模型中的分类器的部分参数进行调优，并对答案模版中的提示模版的词向量进行优化，得到最终的机器问答模型；其中，在提示学习训练中，答案判定模型中的预训练语言模型参数保持不变。
一种基于语义提示的机器问答装置，所述装置包括：
文本预处理模块，用于将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
答案判定模块，用于通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
提示学习训练模块，用于选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
上述基于语义提示的机器问答方法、装置、设备及存储介质，通过将机器问答拆分为实体识别和意图识别两个子任务，并根据意图识别的结果对实体识别结果进行预过滤，得到候选实体列表，从而实现问题意图到实体类型的映射；然后根据提示学习算法，将候选实体与背景文本、问题文本以及提示模版拼接成完整的一段答案模版，并将答案模版输入预先构建的答案判定模型进行判定，得到最终的实体结果，从而将机器问答任务转换为预训练阶段的句间连贯性预测任务，利用预训练获取的先验知识大大降低的训练所需的样本，通过少量样本就和获得较高的准确率；最后在训练阶段，选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型，进一步提高了机器问答的准确率。采用本发明分别对机器问答中的背景和问题分别进行实体识别和意图识别，并通过提示学习算法来增强机器问答的准确性，能够在少样本甚至零样本条件下达到很好的机器问答准确率。
附图说明
图1为一个实施例中基于语义提示的机器问答方法的流程示意图；
图2为一个实施例中答案判定模型的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于语义提示的机器问答方法，，包括以下步骤：
步骤S1，将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表。
可以理解，机器问答中的背景文本是一段描述性的文本，包含了对某一事件信息或者对象的描述，机器阅读理解是根据对问题的判断，从文本中抽取出对应的答案，也就是包含答案的文本起止索引。针对背景文本的实时识别模块不限于具体采用的技术方法，包括已公开的在大规模文本数据集上完成训练的递归神经网络、长短期记忆神经网络、隐马尔科夫模型、预训练语言模型等等。优选地，本申请采用双向长短期记忆网络和条件随机场的组合方式训练的实体识别模块，先根据双向长短期记忆神经网络对背景文本进行预测，得到多组可能的标签标记方法，然后根据条件随机场计算出正确概率最高的一组标记方法，得到与背景文本长度相同的实体列表标签序列，实体标签采用通用的BIO三元标注法，其中B（Begin）表示实体起始位置，I（Inside）表示当前位置与上一个字符连续，仍处在同一实体内，O（Other）表示当前位置非实体类型。
步骤S2，将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表。
可以理解，机器问答中的问题文本是针对背景文本中的某一个实体的问句，通过将问题文本输入意图识别模块，可以获取问题所面向的实体类型。针对问题文本的意图识别模块也不限于具体的识别方法，可以采用简单规则的判定条件，如“who”和“谁”对应的意图标签是“人”，“when”和“何时”对应的意图标签是“时间”，“where”和“哪里”对应的是意图标签是“地点”等等；也可以是基于神经网络的意图识别模型，如基于语法分析数树或者多分类神经网络结果对问题文本意图进行分类，通过计算问题文本的向量表示与意图标签之间的空间相似度，选取最大值作为问题意图识别结果。由于问题的意图和实体类型有限，本发明优选地采用基于语法规则和关键词匹配的意图识别模块对问题文本进行识别。
可以理解，由于意图识别模块所采用的算法不同，在对问题文本进行识别时可能会产生问题意图与实体列表的空间不一致的情况，问题意图的数量大于实体列表数量，因此，需要根据得到的问题意图对实体列表进行过滤，将符合问题意图的标签进行保留，得到过滤后的候选实体列表，实现问题意图到实体列表之间映射。
步骤S3，通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层。
可以理解，通过提示学习算法构建答案模版的方法将背景、问题、提示模版和候选实体拼接为一段完整的文本，并加入了标识的文本起始符和分隔符，对于多个候选实体，构建生成多组答案模版。从而将原始的机器问答任务转换为一个多项选择的任务。
可以理解，答案判定模型中的预训练语言模型是指通过在大规模语料库上利用自监督学习训练出的语言模型，通过设定任务对特定顺序或者特定位置的字词预测，使模型学习到任意上下文中字词的特征向量，这类模型可以通过对下游任务进行微调即可获得很好的预测准确率。这类模型通常是基于转换(Transfomer)结构对大量的文本进行学习，能够同时学习到语义和结构信息，可以适配到多种自然语言处理的下游任务中，常见的如基于转换的双向编码器表示(Bidirectional Encoder Representation fromTransformers，Bert）、第三代通用预训练转换器(GPT-3)、贝叶斯加性回归树(BayesianAdditive Regression Trees，Bart)等等模型。优选地，本发明为充分利用语言模型在预训练阶段的训练任务和先验知识，实现少样本训练，选取的语言模型为双向语言自编码（bidirectional auto-encoder）结构。
可以理解，分类器由一个单层的全连接网络组成，用于生成答案模版中段落之间的句间连贯性概率值。归一化层是指指数归一化层，用于对所有的句间连贯性概率值进行归一化处理并输出最终实体结果。
步骤S4，选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
可以理解，为保证机器问答的准确率，还需要根据提示学习算法对实体识别模块、答案判定模型和答案模版中的参数进行调整优化，通过选取少量人工标注好问答的样本进行训练，其中，答案判定模型中的预训练语言模型参数在训练中参数保持不变，调优的参数分别为实体识别模块分类器和答案判定模型分类器的部分参数，以及答案模版中提示模版的词向量，从而大大降低了模型训练过程中调优的参数数量及代价，在训练完成后，能够根据得到的机器问答模型准确识别问题对应的实体。
上述基于语义提示的机器问答方法、装置、设备及存储介质，通过将机器问答拆分为实体识别和意图识别两个子任务，并根据意图识别的结果对实体识别结果进行预过滤，得到候选实体列表，从而实现问题意图到实体类型的映射；然后根据提示学习算法，将候选实体与背景文本、问题文本以及提示模版拼接成完整的一段答案模版，并将答案模版输入预先构建的答案判定模型进行判定，得到最终的实体结果，从而将机器问答任务转换为预训练阶段的句间连贯性预测任务，利用预训练获取的先验知识大大降低的训练所需的样本，通过少量样本就和获得较高的准确率；最后在训练阶段，选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型，进一步提高了机器问答的准确率。采用本发明分别对机器问答中的背景和问题分别进行实体识别和意图识别，并通过提示学习算法来增强机器问答的准确性，能够在少样本甚至零样本条件下达到很好的机器问答准确率。
在其中一个实施例中，将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表，包括：
将机器问答中的背景文本
输入已在大规模文本数据集上完成训练的实体识别模块进行识别，得到与背景文本长度相同的实体列表标签序列
，并根据实体列表标签序列标记背景文本中每一个字的实体类型，其中，实体类型采用BIO三元标注法，标签通常包括“Location”（地点）、“Person”（人物）、“Organization”（组织）、“Miscellaneous”（杂糅）、“Other”（其他）五种，根据数据集本身的特征，还会补充其他标签类型。除了“Other”之外的标签还会有“B-”和“I-”两种前缀，用于指示当前字词是处于实体的起始或者中间位置。
在其中一个实施例中，根据问题意图对实体列表进行过滤，得到候选实体列表，包括：
当问题意图与实体列表的空间一致时，根据问题意图直接对实体列表进行过滤，得到候选实体列表；
否则，设置问题意图与实体列表之间的映射规则，完成映射后根据问题意图对实体列表进行过滤，得到候选实体列表。
具体的，当问题意图中询问的“姓名”，“人物”，“主体”等对应实体列表中的“人物”，“价格”，“数量”等情况时，通过分类器结构收集相应的标签样本并进行训练后完成问题意图和实体列表之间的映射，然后根据问题意图标签J对实体列表进行过滤，得到过滤后的候选实体列表标签序列
。
在其中一个实施例中，通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，包括：
根据候选实体列表中的标签划定候选实体的边界范围，根据边界范围构建候选实体文本列表
，其中，k表示候选实体的总数，
是背景文本中一段连续的字符串，表示第i个候选实体，其格式为
，
表示实体类型对应的标识符，
表示 
在背景文本中的起始索引位置，
表示
在背景文本中的结束索引位置；
将候选实体与背景文本、问题文本、和预先构建的提示模版进行拼接，构建得到答案模版，表示为
其中，
表示文本起始符，
表示背景文本，
表示文本分隔符，用于在预训练语言模型中标记句子的结束，
表示问题文本，
表示预先构建的提示模版。
在其中一个实施例中，如图2所示，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果，包括：
将答案模版划分为第一段落和第二段落，其中，第一段落包括背景文本，第二段落包括问题文本、提示模版和候选实体；
将答案模版输入预训练语言模型进行计算，得到答案模版的嵌入表示向量；其中，嵌入表示向量的长度与预训练语言模型的输出层维度一致；
将嵌入表示向量输入分类器进行句间连贯性预测，得到答案模版中第一段落与第二段落的句间连贯性概率值，通过指数归一化层对句间连贯性概率值进行归一化处理，选择概率值最高的答案模版对应的候选实体作为最终实体结果。
具体的，本发明将答案模版输入预训练语言模型进行计算，选取的是语言模型预训练阶段的句间连贯性预测任务（Sentence Order Prediction，SOP），即将答案模版中的文本起始符CLS输入预训练语言模型进行编码，得到文本起始符编码向量，将文本起始符编码向量作为答案模版的嵌入表示向量输入分类器进行句间连贯性预测；其中，文本起始符编码向量的长度与预训练语言模型的输出层维度
一致。值得说明的是，本发明并不限制于句间连贯性预测任务，凡是用于推理句间关系的任务同样适用，包括下一句关系预测（Next Sentence Prediction，NSP）、句间距离预测（Sentence distance prediction，SDP）、信息检索相似度预测（Information Retrieval Relevance，IRR）任务。
在其中一个实施例中，选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型，包括：
根据提示学习算法选取少量样本对实体识别模块中的分类器和答案判定模型中的分类器的部分参数进行调优，并对答案模版中的提示模版
的词向量进行优化，得到最终的机器问答模型；其中，在提示学习训练中，答案判定模型中的预训练语言模型参数保持不变。并且，在根据最终的机器问答模型进行后续的机器问答预测中，直接只用训练好的词向量进行拼接得到答案模版，而不再使用原始答案模版。
具体地，训练过程的评估函数由两部分累加组成，分别是实体识别模块对实体类型预测的交叉熵误差
和答案模版的语句连贯性预测的交叉熵误差
，即
，其中，
为经验设置的权重参数。
此外，两部分交叉熵误差的计算方法如下：
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于语义提示的机器问答装置，包括：文本预处理模块、答案判定模块和提示学习训练模块，其中：
文本预处理模块，用于将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
答案判定模块，用于通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
提示学习训练模块，用于选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
关于基于语义提示的机器问答装置的具体限定可以参见上文中对于基于语义提示的机器问答方法的限定，在此不再赘述。上述基于语义提示的机器问答装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于语义提示的机器问答方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将机器问答中的背景文本输入实体识别模块进行识别，获取背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取问题文本中的问题意图，根据问题意图对实体列表进行过滤，得到候选实体列表；
通过提示学习算法将候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将答案模版输入预先构建的答案判定模型进行判定，得到问题意图对应的最终实体结果；其中，答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于语义提示的机器问答方法，其特征在于，所述方法包括：
将机器问答中的背景文本输入实体识别模块进行识别，获取所述背景文本中的实体列表；
将机器问答中的问题文本输入意图识别模块进行识别，获取所述问题文本中的问题意图，根据所述问题意图对所述实体列表进行过滤，得到候选实体列表；
通过提示学习算法将所述候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将所述答案模版输入预先构建的答案判定模型进行判定，得到所述问题意图对应的最终实体结果；其中，所述答案判定模型包括预训练语言模型、分类器和归一化层；
选取少量样本对所述实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
2.根据权利要求1所述的方法，其特征在于，将机器问答中的背景文本输入实体识别模块进行识别，获取所述背景文本中的实体列表，包括：
将机器问答中的背景文本输入已在大规模文本数据集上完成训练的实体识别模块进行识别，得到与所述背景文本长度相同的实体列表标签序列，并根据所述实体列表标签序列标记所述背景文本中每一个字的实体类型。
3.根据权利要求2所述的方法，其特征在于，根据所述问题意图对所述实体列表进行过滤，得到候选实体列表，包括：
当所述问题意图与所述实体列表的空间一致时，根据所述问题意图直接对所述实体列表进行过滤，得到候选实体列表；
否则，设置所述问题意图与实体列表之间的映射规则，完成映射后根据所述问题意图对所述实体列表进行过滤，得到候选实体列表。
4.根据权利要求3所述的方法，其特征在于，通过提示学习算法将所述候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，包括：
根据所述候选实体列表中的标签划定候选实体的边界范围，根据所述边界范围构建候选实体文本列表
，其中，k表示候选实体的总数，
是背景文本中一段连续的字符串，表示第i个候选实体，其格式为
，
表示实体类型对应的标识符，
表示 
在背景文本中的起始索引位置，
表示
在背景文本中的结束索引位置；
将所述候选实体与背景文本、问题文本、和预先构建的提示模版进行拼接，构建得到答案模版，表示为
其中，
表示文本起始符，
表示所述背景文本，
表示文本分隔符，
表示所述问题文本，
表示预先构建的提示模版。
5.根据权利要求1所述的方法，其特征在于，将所述答案模版输入预先构建的答案判定模型进行判定，得到所述问题意图对应的最终实体结果，包括：
将所述答案模版划分为第一段落和第二段落，其中，所述第一段落包括背景文本，所述第二段落包括问题文本、提示模版和候选实体；
将所述答案模版输入所述预训练语言模型进行计算，得到所述答案模版的嵌入表示向量；其中，所述嵌入表示向量的长度与所述预训练语言模型的输出层维度一致；
将所述嵌入表示向量输入所述分类器进行句间连贯性预测，得到所述答案模版中第一段落与第二段落的句间连贯性概率值，通过指数归一化层对所述句间连贯性概率值进行归一化处理，选择概率值最高的答案模版对应的候选实体作为最终问题答案，得到所述问题意图对应的最终实体结果。
6.根据权利要求5所述的方法，其特征在于，将所述答案模版输入所述预训练语言模型进行计算，得到所述答案模版的嵌入表示向量，包括：
将所述答案模版中的文本起始符输入所述预训练语言模型进行编码，得到文本起始符编码向量，将所述文本起始符编码向量作为答案模版的嵌入表示向量输入所述分类器进行句间连贯性预测。
7.根据权利要求1所述的方法，其特征在于，选取少量样本对所述实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型，包括：
根据提示学习算法选取少量样本对所述实体识别模块中的分类器和答案判定模型中的分类器的部分参数进行调优，并对所述答案模版中的提示模版的词向量进行优化，得到最终的机器问答模型；其中，在提示学习训练中，所述答案判定模型中的预训练语言模型参数保持不变。
8.一种基于语义提示的机器问答装置，其特征在于，所述装置包括：
文本预处理模块，用于将机器问答中的背景文本输入实体识别模块进行识别，获取所述背景文本中的实体列表；将机器问答中的问题文本输入意图识别模块进行识别，获取所述问题文本中的问题意图，根据所述问题意图对所述实体列表进行过滤，得到候选实体列表；
答案判定模块，用于通过提示学习算法将所述候选实体列表中的候选实体与背景文本、问题文本和预先构建的提示模版进行拼接，构建得到答案模版，将所述答案模版输入预先构建的答案判定模型进行判定，得到所述问题意图对应的最终实体结果；其中，所述答案判定模型包括预训练语言模型、分类器和归一化层；
提示学习训练模块，用于选取少量样本对所述实体识别模块、答案判定模型和答案模版进行提示学习训练，得到最终的机器问答模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211601795.2A CN115599901B (zh) | 2022-12-14 | 2022-12-14 | 基于语义提示的机器问答方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211601795.2A CN115599901B (zh) | 2022-12-14 | 2022-12-14 | 基于语义提示的机器问答方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115599901A true CN115599901A (zh) | 2023-01-13 |
| CN115599901B CN115599901B (zh) | 2023-04-07 |
Family
ID=84853802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211601795.2A Active CN115599901B (zh) | 2022-12-14 | 2022-12-14 | 基于语义提示的机器问答方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115599901B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116011456A (zh) * | 2023-03-17 | 2023-04-25 | 北京建筑大学 | 基于提示学习的中文建筑规范文本实体识别方法及系统 |
| CN116257613A (zh) * | 2023-02-10 | 2023-06-13 | 北京百度网讯科技有限公司 | 数据生产方法、装置、电子设备及存储介质 |
| CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
| CN116911289A (zh) * | 2023-09-13 | 2023-10-20 | 中电科大数据研究院有限公司 | 政务领域大模型可信文本生成方法、装置及存储介质 |
| WO2024191553A1 (en) * | 2023-03-14 | 2024-09-19 | Google Llc | Markup language for generative model prompting |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190180195A1 (en) * | 2015-01-23 | 2019-06-13 | Conversica, Inc. | Systems and methods for training machine learning models using active learning |
| CN112183098A (zh) * | 2020-09-30 | 2021-01-05 | 完美世界(北京)软件科技发展有限公司 | 会话的处理方法和装置、存储介质、电子装置 |
| CN114996513A (zh) * | 2022-05-11 | 2022-09-02 | 湖南大学 | 基于跨模态提示学习的视频问答方法与系统 |
-
2022
- 2022-12-14 CN CN202211601795.2A patent/CN115599901B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190180195A1 (en) * | 2015-01-23 | 2019-06-13 | Conversica, Inc. | Systems and methods for training machine learning models using active learning |
| CN112183098A (zh) * | 2020-09-30 | 2021-01-05 | 完美世界(北京)软件科技发展有限公司 | 会话的处理方法和装置、存储介质、电子装置 |
| CN114996513A (zh) * | 2022-05-11 | 2022-09-02 | 湖南大学 | 基于跨模态提示学习的视频问答方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 廖开际: "一种在线医疗社区问答文本实体识别方法——基于卷积神经网络和双向长短期记忆神经网络", 《科技管理研究》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116257613A (zh) * | 2023-02-10 | 2023-06-13 | 北京百度网讯科技有限公司 | 数据生产方法、装置、电子设备及存储介质 |
| CN116257613B (zh) * | 2023-02-10 | 2024-02-06 | 北京百度网讯科技有限公司 | 数据生产方法、装置、电子设备及存储介质 |
| WO2024191553A1 (en) * | 2023-03-14 | 2024-09-19 | Google Llc | Markup language for generative model prompting |
| CN116011456A (zh) * | 2023-03-17 | 2023-04-25 | 北京建筑大学 | 基于提示学习的中文建筑规范文本实体识别方法及系统 |
| CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
| CN116483982B (zh) * | 2023-06-25 | 2023-10-13 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
| CN116911289A (zh) * | 2023-09-13 | 2023-10-20 | 中电科大数据研究院有限公司 | 政务领域大模型可信文本生成方法、装置及存储介质 |
| CN116911289B (zh) * | 2023-09-13 | 2024-01-02 | 中电科大数据研究院有限公司 | 政务领域大模型可信文本生成方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115599901B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| CN107798140B (zh) | 一种对话系统构建方法、语义受控应答方法及装置 | |
| CN109992664B (zh) | 争议焦点的标注分类方法、装置、计算机设备和存储介质 | |
| KR20190125153A (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
| CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| CN111145718A (zh) | 一种基于自注意力机制的中文普通话字音转换方法 | |
| CN112052684A (zh) | 电力计量的命名实体识别方法、装置、设备和存储介质 | |
| CN111984780A (zh) | 多意图识别模型训练方法和多意图识别方法及相关装置 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN118093834B (zh) | 一种基于aigc大模型的语言处理问答系统及方法 | |
| CN113743099A (zh) | 基于自注意力机制方面术语提取系统、方法、介质、终端 | |
| CN112183106A (zh) | 一种基于音素联想及深度学习的语义理解方法及装置 | |
| CN114417785A (zh) | 知识点标注方法、模型的训练方法、计算机设备及存储介质 | |
| CN111400340A (zh) | 一种自然语言处理方法、装置、计算机设备和存储介质 | |
| CN111078546A (zh) | 一种表达页面特征的方法和电子设备 | |
| CN112395887A (zh) | 对话应答方法、装置、计算机设备和存储介质 | |
| US20240232572A1 (en) | Neural networks with adaptive standardization and rescaling | |
| CN116881457A (zh) | 一种基于知识对比增强提示的小样本文本分类方法 | |
| CN115905585A (zh) | 关键词与文本匹配方法、装置、电子设备和存储介质 | |
| CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
| CN113377844A (zh) | 面向大型关系型数据库的对话式数据模糊检索方法及装置 | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN117115564A (zh) | 基于跨模态概念发现与推理的图像分类方法及智能终端 | |
| CN113657092B (zh) | 识别标签的方法、装置、设备以及介质 | |
| CN115238698A (zh) | 生物医疗命名实体识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |