CN114328841A - 问答模型训练方法及装置、问答方法及装置 - Google Patents
问答模型训练方法及装置、问答方法及装置 Download PDFInfo
- Publication number
- CN114328841A CN114328841A CN202111678800.5A CN202111678800A CN114328841A CN 114328841 A CN114328841 A CN 114328841A CN 202111678800 A CN202111678800 A CN 202111678800A CN 114328841 A CN114328841 A CN 114328841A
- Authority
- CN
- China
- Prior art keywords
- question
- corpus
- answer
- samples
- text set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 238000007635 classification algorithm Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000000746 purification Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000004927 fusion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000003607 modifier Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请提供一种问答模型训练方法及装置、问答方法及装置，其中，问答模型训练方法包括：获取基于指定领域构建的语料库，语料库包括大量的语料样本，语料样本携带语境标签，基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集，针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。基于各语料样本的语境标签，将海量的语料样本进行划分，建立多个任务导向型的文本集，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，提高了模型应用的精准度。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种问答模型训练方法及装置、问答方法及装置、计算设备和计算机可读存储介质。
背景技术
人工智能(AI，Artificial Intelligence；)是指已工程化(即设计并制造)的系统感知环境的能力，以及获取、处理、应用和表示知识的能力。自然语言处理(NLP，NaturalLanguage Processing)是计算机科学领域与人工智能领域中的一个重要方向，是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。
随着人工智能技术的发展，自然语言处理被广泛应用于各种领域，例如政务信息检索、医疗咨询、在线教学、网络购物等。问答系统为用户提供了一个快速查询、检索的接口，用户在交互界面上提出问题，问答系统能够用准确、简洁的自然语言作以回答。问答系统是信息服务的一种高级形式，系统反馈给用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案，这和搜索引擎提供给用户模糊的反馈是不同的。在自然语言理解领域，自动问答和机器翻译、复述和文本摘要一起被认为是验证机器是否具备自然理解能力的四个任务。
当前的问答系统中，一般采用基于神经网络的问答方法，即预先基于海量的语料样本，对预设的神经网络模型进行训练，训练出一个问答模型，该问答模型为端到端的神经网络模型，在应用时，直接将用户输入的问题语句输入训练好的问答模型中，即可得到相应的回答语句。然而，由于语料样本是海量的，且具有较高的泛化程度，导致问答模型的训练过程耗时较长、所得到的回答语句的精准度不高。
发明内容
有鉴于此，本申请实施例提供了一种问答模型训练方法及装置、问答方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面，提供了一种问答模型训练方法，包括：
获取基于指定领域构建的语料库，其中，语料库包括大量的语料样本，语料样本携带语境标签；
基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集；
针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
可选地，在基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之后，该方法还包括：
针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组。
可选地，针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组的步骤，包括：
针对各文本集，根据该文本集中各语料样本的词特征，利用语义分析算法，计算各语料样本中的词重要度；
针对各语料样本，根据该语料样本中的词重要度，提取词重要度高于预设阈值的关键词，组成该语料样本的关键词组。
可选地，语料样本包括提问样本和该提问样本对应的回答样本；
在针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型的步骤之后，该方法还包括：
获取实时问句，利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组；
将实时问句的关键词组与各文本集中各提问样本的关键词组分别进行比对，确定与实时问句相似度最高的第一提问样本及第一提问样本所属的第一文本集；
以实时问句作为输入、第一提问样本对应的回答样本作为标称信息，对第一文本集对应的问答模型进行训练，记录下本轮迭代训练的实时问句的关键词组；
返回执行获取实时问句，利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组的步骤，并结合已记录的各轮迭代训练的实时问句的关键词组，进行下一轮迭代，得到多轮迭代训练后的问答模型。
可选地，语境标签的添加方式为：利用LDA模型，为语料库中的各语料样本添加语境标签。
可选地，语料样本还携带有时间标签；在基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之前，该方法还包括：
根据各语料样本的时间标签，筛选出符合预设时间条件的语料样本；
基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤，包括：
基于符合所述预设时间条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
可选地，在基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之前，该方法还包括：
利用预设的净化规则，筛选出符合预设净化条件的语料样本；
基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤，包括：
基于符合预设净化条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
可选地，语料样本包括提问样本和该提问样本对应的回答样本；
针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型的步骤，包括：
针对各文本集，将该文本集中的提问样本输入预设神经网络，得到预测回答结果；
比较预测回答结果与提问样本对应的回答样本，得到差异值；
基于差异值，调整预设神经网络的网络参数，并返回执行将该文本集中的提问样本输入预设神经网络，得到预测回答结果的步骤，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止训练，确定网络参数调整后的预设神经网络为该文本集对应的问答模型。
可选地，预设神经网络为BiLSTM。
可选地，以实时问句作为输入、第一提问样本对应的回答样本作为标称信息，对第一文本集对应的问答模型进行训练的步骤，包括：
将实时问句输入第一文本集对应的问答模型，得到预测回答结果；
比较预测回答结果与第一提问样本对应的回答样本，得到差异值；
基于差异值，调整第一文本集对应的问答模型的模型参数，并返回执行将实时问句输入第一文本集对应的问答模型，得到预测回答结果的步骤，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止本轮对第一文本集对应的问答模型的训练。
根据本申请实施例的第二方面，提供了一种问答方法，包括：
获取提问语句；
将提问语句输入利用如本申请实施例第一方面提供的方法训练得到的问答模型中，得到提问语句对应的回答语句。
根据本申请实施例的第三方面，提供了一种问答模型训练装置，包括：
第一获取模块，被配置为获取基于指定领域构建的语料库，其中，语料库包括大量的语料样本，语料样本携带语境标签；
文本集建立模块，被配置为基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集；
训练模块，被配置为针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
根据本申请实施例的第四方面，提供了一种问答装置，包括：
第二获取模块，被配置为获取提问语句；
答复模块，被配置为将提问语句输入利用如本申请实施例第一方面提供的方法训练得到的问答模型中，得到提问语句对应的回答语句。
根据本申请实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行计算机指令时实现本申请实施例第一方面所提供方法的步骤或者本申请实施例第二方面所提供方法的步骤。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例第一方面所提供方法的步骤或者本申请实施例第二方面所提供方法的步骤。
本申请实施例中，获取基于指定领域构建的语料库，语料库包括大量的语料样本，语料样本携带语境标签，基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集，针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。基于各语料样本的语境标签，将海量的语料样本进行划分，建立了多个任务导向型的文本集，每一个文本集中的语料样本具有相同的任务类型，这样，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个文本集对应的问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，从而能够提高模型应用的精准度。
附图说明
图1是本申请实施例提供的一种问答模型训练方法的流程示意图；
图2是本申请实施例提供的另一种问答模型训练方法的流程示意图；
图3是本申请实施例提供的再一种问答模型训练方法的流程示意图；
图4是本申请实施例提供的一种问答方法的流程示意图；
图5是本申请实施例提供的一种问答模型训练装置的结构示意图；
图6是本申请实施例提供的一种问答装置的结构示意图；
图7是本申请实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“响应于确定”。
首先，对本发明一个或多个实施例涉及的名词术语进行解释。
智能多轮问答系统：政务等领域在线办事服务十分流行，全面覆盖领域内知识的智能多轮问答系统有着极为迫切的现实需求，该系统涉及到多文档的知识抽取摘要，而信息的跨问答抽取和深度融合则是满足复杂问题回答的必要方式。
长短期记忆网络(LSTM，Long Short-Term Memory)和双向长短期记忆网络(BiLSTM，Bi-directional Long Short-Term Memory)：LSTM是循环神经网络(RNN，Recurrent Neural Network)的一种，由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。BiLSTM是由前向LSTM和后向LSTM组合而成。LSTM和BiLSTM在自然语言处理任务中都常被用来建模上下文信息，并生成对应的隐藏层向量表征。
向量相似度：通过两个向量之间的点乘，可以计算这两个向量之间的相似度。
信息融合：定义为得到一个简洁流畅的、能够反映多文档中所有问题关联句子共同信息的融合句，其目的是得到相关句子的公共信息，从而反映多文档中符合用户问题需求的重要信息。
为了解决问答模型的训练过程耗时较长、所得到的回答语句的精准度不高的问题，本申请实施例提供了一种问答模型训练方法及装置、问答方法及装置、计算设备和计算机可读存储介质，在下面的实施例中将逐一进行详细说明。
图1示出了本申请实施例提供的一种问答模型训练方法的流程示意图，该方法具体包括如下步骤。
S102，获取基于指定领域构建的语料库，其中，语料库包括大量的语料样本，语料样本携带语境标签。
本申请实施例中，问答模型训练方法的执行主体可以是问答模型的训练设备、具有智能问答功能的智能设备等。在进行问答模型训练之前，需要获取包括海量语料样本的语料库，该语料库是基于指定领域预先构建的，其中，指定领域是指提供特定服务的领域，特定服务涉及如下服务中的至少一种：政务服务、民生服务、金融服务，则指定领域可以是政务领域、医疗领域、银行领域等。一般情况下，获取语料库的方式可以是接收人工输入的指定领域下的海量语料样本组成语料库，也可以是从其他数据获取设备或者数据库中读取指定领域下的语料样本组成语料库。
语料样本一般是指一句话、一段文字、一篇文章等，为了实现问答功能，语料样本中通常包括提问样本和回答样本，提问样本和回答样本之间存在对应关系，例如，提问样本为“请问北京市朝阳区住房公积金在哪办理？”，对应的回答样本为“北京市朝阳区百子湾西里402楼109号”。本申请实施例的语料库中的语料样本是在指定领域的垂直领域下生成的，针对性更强，保证最终训练出来的问答模型对指定领域的辨识度更高。
语料样本携带有语境标签，语境标签表明了该语料样本的语言环境和主题主旨，而同一词在不同的语言环境和主题主旨下，所代表的词义不同，例如，在“广播电台”语料中，广播具有无线电广播的词义，而在“设备广播信息”语料中，广播具有传输、发送的词义。一般是将语料样本的文档主题提取出来作为该语料样本的语境标签，语境标签可以是人工标记的，也可以是利用语境分析工具得到的。由于语境标签表明了语料样本的语言环境和主题主旨，因此，语境标签影响着语料样本中各词语的词义，进而影响着语料样本的任务类型。
在本申请实施例的一种实现方式中，语境标签的添加方式可以为：利用隐含狄利克雷分布(LDA，Latent Dirichlet Allocation)模型，为语料库中的各语料样本添加语境标签。LDA是一种主题模型(topic model)，它可以将文档集中每篇文档的主题按照概率分布的形式给出，属于无监督学习算法。
LDA模型是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包括词、主题和文档三层结构，所谓生成模型，就是说，认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从主题中以一定概率选择某个词语”这样一个过程得到，文档到主题服从多项式分布，主题到词服从多项式分布。这里所提及的主题即为语境。
S104，基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
语料样本的实际语境影响着语料样本中各词的词义，进而影响着语料样本的任务类型，例如是询问公积金查询的任务、社保查询的任务等类型，基于各语料样本的语境标签，可以利用预设的任务分类算法，建立多个任务导向型的文本集。具体的方式可以为：对各语料样本中的词进行识别，识别出语料样本中的名词、动词、名词短语、动词短语、属性修饰词等，然后结合语料样本的语境标识，确定每一个语料样本的场景导向任务类别，将同一个任务类别的语料样本组成一个文本集，则可得到多个任务导向型的文本集。其中，在构建语料样本的时候，可以给语料样本中各词添加上词性标签，则可以通过识别各词的词性标签确定出语料样本中的名词、动词、名词短语、动词短语、属性修饰词。当然，也可以采用基于神经网络的方法，进行词性识别，即预先基于标注有词性的样本词训练得到词性识别模型，然后对语料样本进行分词(可以采用jieba等分词工具)，再将各词分别输出训练好的词性识别模型，即可识别出语料样本中的名词、动词、名词短语、动词短语、属性修饰词等。
在本申请实施例的一种实现方式中，语料样本还携带有时间标签；在S104之前，该问答模型训练方法还可以包括如下步骤：根据各语料样本的时间标签，筛选出符合预设时间条件的语料样本。
相应的，S104具体可以为：基于符合预设时间条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
语料样本携带的时间标签表征了该语料样本采集的时间，例如是2020年12月份生成的语料样本、2021年1月份生成的语料样本等，在进行问答模型训练时，为了保证语料样本的适应性，一般会选择近段时间的语料样本，例如，选择最近两个月生成的语料样本，则可以相应的设置预设时间条件(例如为某年某月至某年某月)，这样就可以根据各语料样本的时间标签，筛选出符合预设时间条件的语料样本，然后基于符合预设时间条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。这样，能够更精准地实现时间线匹配，满足问答模型训练的适应性要求。
在本申请实施例的一种实现方式中，在S104之前，该问答模型训练方法还可以包括如下步骤：利用预设的净化规则，筛选出符合预设净化条件的语料样本。
相应的，S104具体可以为：基于符合预设净化条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
在实际应用时，需要对一些涉及色情、暴力、隐私等因素的内容进行筛除，以保证问答系统的纯净，提高用户的使用体验，所以需要预先设置净化规则，净化规则中包括多个预设净化条件，该净化条件可以是语料样本中不得含有具有特殊词义的词语、短语等，这里提及的特殊词义包括具有色情、暴力、隐私等属性的敏感词义、争议词义。通过对语料样本中的各词进行词义分析，判断语料样本中是否存在上述词义的词或短语，其中，词义分析可以采用NLP语义分析或者词义分析工具，如果存在则说明不符合预设净化条件，需要筛除；如果不存在则说明符合预设净化条件，进行保留，后续则基于符合预设净化条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。这样，实现了对敏感词、争议短语的过滤。
S106，针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
在建立多个任务导向型的文本集后，针对各文本集，可以利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
在本申请实施例的一种实现方式中，预设神经网络可以为BiLSTM。
RNN和LSTM等文本提取模型都只能依据之前时刻的时序信息来预测下一时刻的输出，但在有些问题中，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系，比如预测一句话中缺失的单词不仅需要根据前文来判断，还需要考虑它后面的内容，真正做到基于上下文判断。BiLSTM就能很好解决前后文长距离依赖的难点，因此，在本申请实施例中，预设神经网络采用BiLSTM，以实现长段落语境的双向信息提取融合。
在本申请实施例的一种实现方式中，语料样本包括提问样本和该提问样本对应的回答样本。S106具体可以通过如下步骤实现：
第一步，针对各文本集，将该文本集中的提问样本输入预设神经网络，得到预测回答结果；
第二步，比较预测回答结果与提问样本对应的回答样本，得到差异值；
第三步，基于差异值，调整预设神经网络的网络参数，并返回执行第一步，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止训练，确定网络参数调整后的预设神经网络为该文本集对应的问答模型。
在得到预测回答结果之后，将预测回答结果与提问样本对应的回答样本进行比较，可以得到二者的相似度(可以理解为预测回答结果和回答样本的文本重合度)，得到相似度后，即可相应地得到差异值，例如，相似度达到80％，则差异值可以记为0.2。在进行网络参数调整时，主要调整的是神经网络中网络层的权重。经过不断的迭代训练，可以得到精度较高的问答模型，当然在本申请实施例中，针对每一个文本集可以单独的存在一个问答模型，也可以针对每个文本集得到对应的问答模型后，再将各问答模型进行整合，得到一个总体的问答模型，具体整合的过程可以采用模型参数融合、并联等方式。具体地，模型参数融合可以理解为将各问答模型的模型参数进行加权平均，得到一组模型参数，作为最终的问答模型的参数；并联就是将各问答模型并联，组成一个总体的问答模型。
应用本申请实施例提供的方案，基于各语料样本的语境标签，将海量的语料样本进行划分，建立了多个任务导向型的文本集，每一个文本集中的语料样本具有相同的任务类型，这样，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个文本集对应的问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，从而能够提高模型应用的精准度。
基于图1所示实施例，图2示出了本申请实施例提供的另一种问答模型训练方法的流程示意图，该方法具体包括如下步骤。
S202，获取基于指定领域构建的语料库，其中，语料库包括大量的语料样本，语料样本携带语境标签。
S204，基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
S205，针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组。
在建立多个任务导向型的文本集后，针对各文本集，可以利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组，进一步地，对关键词组进行向量化，可建立初始化语义向量权重矩阵。其中，语义分析算法可以是基于深度学习的实体识别模型，也可以是基于语境的语义分析，关键词可以包括名词性原词、动词短语词干、介词、数词、形容词等。
在本申请实施例的一种实现方式中，S205具体可以为：针对各文本集，根据该文本集中各语料样本的词特征，利用语义分析算法，计算各语料样本中的词重要度；针对各语料样本，根据该语料样本中的词重要度，提取词重要度高于预设阈值的关键词，组成该语料样本的关键词组。
在进行语义分析时，可以根据词特征(例如是政务领域的专有名词、与提问有关的动词等)计算出各语料样本中的词重要度，词重要度表明了词在进行问答时的重要程度，一般根据词在语料样本中的位置、重复出现的次数、词义、词性等参数综合分析得到，因此，词重要度越高的词越应该被提取出来，因此在得到语料样本中的词重要度后，可根据词重要度，从语料样本中提取出词重要度高于预设阈值的关键词，组成语料样本的关键词组。
S206，针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
由于是基于语料库中的语料样本进行训练的，语料库中的语料样本是历史数据或者人工筛选的数据，因此经过上述步骤，可以得到一个粗粒度的问答模型，为了进一步提高问答模型的精度，下面可以进一步地对问答模型进行细粒度的训练。
上述S202、S204、S206与图1所示实施例中的S102、S104、S106相同，具体可参见图1所示实施例，这里不再赘述。
S208，获取实时问句，利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组。
训练所使用的样本除了从语料库来以外，还可以来自实时地采集，因此，在本申请实施例中，还可以获取实时问句，然后利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组。具体的提取过程与S105提取关键词的过程相同或相似，这里不再赘述。
S210，将实时问句的关键词组与各文本集中各提问样本的关键词组分别进行比对，确定与实时问句相似度最高的第一提问样本及第一提问样本所属的第一文本集。
在得到实时问句的关键词组之后，可以将实时问句的关键词组与各文本集中各提问样本的关键词组分别进行比对，得到实时问句的关键词组与各文本集中各提问样本的关键词组的相似度，具体计算相似度的方式可以是：由于关键词组可以是向量的形式，那么可以利用向量相似度计算的方法，将实时问句的关键词组的向量分别与各文本集中各提问样本的关键词组的向量之间进行点乘，计算得到实时问句的关键词组与各文本集中各提问样本的关键词组的相似度。然后，确定出与实时问句相似度最高的第一提问样本及第一提问样本所属的第一文本集。由于第一提问样本与实时问句的相似度最高，说明第一提问样本与实时问句基本是一样的，那么第一提问样本对应的回答样本基本可以确定是实时问句的回复内容。
这个比较得到相似度的过程可以称为信息融合，相似度越高，说明句子中共同的信息越多，经过相似度的计算，筛选出与实时问句相似度最高的第一提问样本，实现了信息融合，反映出句子中符合用户问题需求的重要信息。
S212，以实时问句作为输入、第一提问样本对应的回答样本作为标称信息，对第一文本集对应的问答模型进行训练，记录下本轮迭代训练的实时问句的关键词组。
返回执行S208，并结合已记录的各轮迭代训练的实时问句的关键词组，进行下一轮迭代，得到多轮迭代训练后的问答模型。
基于上述分析，第一提问样本对应的回答样本基本可以确定是实时问句的回复内容，则可以以实时问句作为输入、第一提问样本对应的回答样本作为标称信息，对第一文本集对应的问答模型进行训练。由于用户的提问往往是连续的，也就是会一个问题紧接着一个问题，但是如果单独看一个问题又很难判断具体意图，例如，用户问的第一个问题是“北京市朝阳区的公积金在哪办理？”，在得到回复后，第二个问题是“办公时间是几点到几点？”，如果单看第二个问题，并不是很清楚用户想要问哪个办公单位的办公时间，但是如果结合第一个问题，可以知道用户想要问的是北京市朝阳区公积金管理中心的办公时间。因此，在进行一轮迭代训练后，需要记录下本轮迭代训练的实时问句的关键词组。然后再结合已记录的各轮迭代训练的实时问句的关键词组，进行下一轮迭代，经过多轮迭代训练，最终可以得到细粒度的问答模型，问答模型输出的问答结果更为精准。
在本申请实施例的一种实现方式中，S212具体可以通过如下步骤实现：
第一步，将实时问句输入所述第一文本集对应的问答模型，得到预测回答结果；
第二步，比较预测回答结果与第一提问样本对应的回答样本，得到差异值；
第三步，基于差异值，调整第一文本集对应的问答模型的模型参数，并返回执行第一步，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止本轮对第一文本集对应的问答模型的训练。
经过多次迭代训练，对粗粒度的问答模型进行了更为精准的模型参数调整，使得问答模型的精度更高。也就是说，通过本申请实施例的方案，在图1所示实施例的基础上，在缩短了问答模型的训练耗时、提高模型应用的精准度的同时，还通过信息融合，进一步提高了问答模型的准确度和流畅度。
为了便于理解，下面结合具体实例，对本申请实施例提供的问答模型训练方法进行介绍。
图3示出了本申请实施例提供的再一种问答模型训练方法的流程示意图，该方法具体包括如下步骤。
第一步，输入场景语料样本。
场景语料样本是基于政务垂直领域应用场景生成的语料样本，这些语料样本可以组成语料库。语料库中的语料样本是海量的，例如可以是几百万、几千万个。场景语料样本是提供特定服务的领域下的语料样本，其涉及政务、民生、金融等服务，场景语料样本与其他语料样本的区别在于所涉及的领域不同，场景语料样本为文档。
第二步，利用LDA模型，为语料样本添加语境标签。
以多个文档作为语料样本为例：
文档1所记载的文字内容为：优化购买域内存量住房提取住房公积金业务，自2021年6月1日起，申请人或其配偶购买本市行政区域内存量住房(也称“二手房”)申请提取住房公积金时，应同时提供该房屋在北京市住房和城乡建设委员会签约备案的购房合同编号，及过户后的房屋所有权证号或不动产权证号，联网核验无误后即可办理。
文档2所记载的文字内容为：2020年度商品住宅专项维修资金归集使用情况的报告，2020年，北京市住房资金管理中心(以下简称管理中心)归集商品住宅专项维修资金7.56万户、金额11.77亿元。按照北京城市总体规划中的一主一副，多点一区的结构区域划分，其中，中心城区当年归集金额3.83亿元，占当年归集的32.54％；北京城市副中心区域当年归集金额0.89亿元，占当年归集的7.56％；平原地区新城当年归集金额5.13亿元，占当年归集的43.59％；生态涵养区当年归集金额1.93亿元，占当年归集的16.31％。截至2020年底，管理中心实建商品住宅专项维修资金357.39万户、分户账余额604.75亿元。
文档3所记载的文字内容为：北京地区住房公积金实现数据互联互通，进一步提升便民服务水平，为贯彻落实市委市政府新一轮优化营商环境的工作要求，进一步方便单位和群众办事，北京住房公积金管理中心加强与所属中共中央直属机关分中心、中央国家机关分中心、北京铁路分中心互联互通，实现个人账户信息共享、账户转移共享协同、提取业务共享协同、公积金用卡信息共享。
对上述文档1、2、3进行语料样本的预处理，包括去除停用词、分词等，得出以上3个文档的三个词向量矩阵，词向量矩阵就是一个文档中词进行向量化后的词向量所组成的矩阵，将三个词向量矩阵分别输入LDA模型，进行文档主题归类，即可分别推导出每个文档的应用场景标签，可知文档1语境标签为[“TAG”:“存量住房提取住房公积金”]，文档2语境标签为[“TAG”:“商品住宅专项维修资金归集使用”]，文档3语境标签为[“TAG”:“住房公积金数据互联互通”]。记录每个文档的应用场景标签，具体可以在文档的存储空间中增加一个记录标签的空间，专门用来记录每个文档的应用场景标签，也可以建立一个数据库，按照文档标识-应用场景标签的形式进行记录。
第三步，利用预设的任务分类算法，建立粗粒度的多个任务导向型的文本集。
在政务领域下，有公积金查询任务、社保查询任务等任务类型，可以利用预设的任务分类算法，该任务分类算法可以是基于深度学习的分类算法，建立出多个任务导向型的文本集，其中，基于深度学习的分类算法具体可以是一个分类模型，该分类模型是基于样本训练得到的，每个样本都预先标记有任务类型，经过将样本输入模型，得到任务类型的预测结果，与标记的任务类型进行比较，然后利用梯度下降法，基于比较结果来调整模型参数，经过不断的迭代训练，直至梯度下降最小，完成分类模型训练。例如，4000万条语料样本中，有30万条是关于公积金咨询任务的，则这30万条组成公积金咨询任务的文本集，有50万条是关于社保咨询任务的，则这50万条组成社保咨询任务的文本集。
第四步，利用语义依存分析工具，提取出各文本集中的关键词，组成场景定向实体词表空间。该空间是各语料样本的关键词组组成的存储空间。
假设文本集中的原始语料为：北京地区住房公积金实现数据互联互通，进一步提升便民服务水平，为贯彻落实市委市政府新一轮优化营商环境的工作要求。
对该原始语料进行去除停用词、分词等预处理，得到：
北京地区住房公积金实现数据互联互通进一步提升便民服务水平为贯彻落实市委市政府新一轮优化营商环境工作要求
利用语义依存分析工具，基于上述预处理的结果，得到标签序列：['n','n','n','n',*,'n','v',*,*,*,*,*,*,*,*,*,*,*,*,*,*,*]
以上标签序列中包含n的即为名称性原词，v即为动词，*为其他词语的词性，由此得到关键词原始序列，即先得到标签序列，然后利用政务场景高频词词库，进一步得到关键词为：
北京地区住房公积金数据互联互通
语义依存分析(SDP，Semantic Dependency Parsing)工具可通过树形(tree-shape)依存关系研究出句子中的“深层”语义关系，关键词可以是名词性原词、动词短语词干、介词、数词等。其中，词干是指任何可以和屈折词缀结合的语素，英语里词干是相对于词尾的概念，是一种构形语素，一个词中除去词尾的部分就是词干；汉语中有词缀的词里，中心词的概念就是词干。
第五步，基于各任务导向型的文本集，对BiLSTM进行训练，得到对应的问答模型。问答模型中包括多个层级的权重矩阵，权重矩阵为任务导向型的场景语料指针权重矩阵，能够自动识别关联实体中心词和上下文场景分布。
假设文本集中的原始语料为：北京地区住房公积金实现数据互联互通，进一步提升便民服务水平，为贯彻落实市委市政府新一轮优化营商环境的工作要求。
对该原始语料进行去除停用词、分词等预处理，得到：
北京地区住房公积金实现数据互联互通进一步提升便民服务水平为贯彻落实市委市政府新一轮优化营商环境工作要求
基于上述预处理的结果，利用BERT中文预训练矩阵，即可得出该原始语料对应的权重矩阵。
具体的训练过程如图1所示实施例的内容，这里不再赘述。
第六步，针对交互界面输入的实时问句，利用语义依存分析工具，从中提取关键词，生成待定向关联实体词组。
例如，输入问句，“北京住房公积金数据实现互联互通了吗？”
对该问句进行分词，得到：
['北京','住房','公积金','数据','实现','互联互通','了','吗','？']
利用语义依存分析工具，得到词性标注：
['ns','n','n','n','v','l','ul','y','x']
从中提取包含n标志的名词词干、v标志对应的动词词干、l对应的描述性词干，得到待定向关联实体词组：
['北京','住房','公积金','数据','实现','互联互通']
待定向关联实体词组即为实时问句的关键词组。
第七步，将待定向关联实体词组映射到场景定向实体词表空间，计算场景定向实体词表空间内各词组与待定向关联实体词组的相似度，确定与待定向关联实体词组的相似度最高的词组，并确定该词组所属的样本集。
第八步，以实时问句作为输入、与待定向关联实体词组的相似度最高的词组对应的回答样本作为标称信息，对第五步得到的问答模型进行训练，记录下本轮迭代训练的待定向关联实体词组。经过多轮迭代，得到细粒度的问答模型。
具体的训练过程如图2所示实施例的内容，这里不再赘述。
该问答模型能够快速提取生成实际细粒度场景的问答对，即输入用户的提问语句，可快速得到该提问语句对应的回答语句。
图4示出了本申请实施例提供的一种问答方法的流程示意图，该方法具体包括如下步骤。
S402，获取提问语句。
S404，将提问语句输入训练好的问答模型，得到提问语句对应的回答语句。其中，问答模型利用上述问答模型训练方法训练得到。
由于训练好的问答模型是一种端到端的深度学习模型，直接将获取的提问语句输入训练好的问答模型，可以直接得到提问语句对应的回答语句。
本申请实施例中，问答方法的执行主体可以是执行问答功能的智能设备。应用本申请实施例的方案，由于在进行问答模型训练时，基于各语料样本的语境标签，将海量的语料样本进行划分，建立了多个任务导向型的文本集，每一个文本集中的语料样本具有相同的任务类型，这样，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个文本集对应的问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，从而能够提高模型应用的精准度。这样，在利用训练好的问答模型对提问语句进行智能答复时，能够提高回答语句的准确性。
相应于上述问答模型训练方法实施例，图5示出了本申请实施例提供的一种问答模型训练装置的结构示意图，该问答模型训练装置包括：
第一获取模块510，被配置为获取基于指定领域构建的语料库，其中，语料库包括大量的语料样本，语料样本携带语境标签；
文本集建立模块520，被配置为基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集；
第一训练模块530，被配置为针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
可选地，该装置还可以包括：
提取模块，被配置为针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组。
可选地，提取模块，具体可以被配置为针对各文本集，根据该文本集中各语料样本的词特征，利用语义分析算法，计算各语料样本中的词重要度；针对各语料样本，根据该语料样本中的词重要度，提取词重要度高于预设阈值的关键词，组成该语料样本的关键词组。
可选地，语料样本包括提问样本和该提问样本对应的回答样本；该装置还可以包括：
提取模块，被配置为获取实时问句，利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组；
比对模块，被配置为将实时问句的关键词组与各文本集中各提问样本的关键词组分别进行比对，确定与实时问句相似度最高的第一提问样本及第一提问样本所属的第一文本集；
第二训练模块，被配置为以实时问句作为输入、第一提问样本对应的回答样本作为标称信息，对第一文本集对应的问答模型进行训练，记录下本轮迭代训练的实时问句的关键词组；返回执行获取实时问句，利用语义分析算法，提取出实时问句中的关键词，得到实时问句的关键词组的步骤，并结合已记录的各轮迭代训练的实时问句的关键词组，进行下一轮迭代，得到多轮迭代训练后的问答模型。
可选地，该装置还可以包括：
添加模块，被配置为利用LDA模型，为语料库中的各语料样本添加语境标签。
可选地，语料样本还携带有时间标签；该装置还可以包括：
筛选模块，被配置为根据各语料样本的时间标签，筛选出符合预设时间条件的语料样本；
文本集建立模块520，具体被配置为基于符合所述预设时间条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
可选地，该装置还可以包括：
筛选模块，被配置为利用预设的净化规则，筛选出符合预设净化条件的语料样本；
文本集建立模块520，具体被配置为基于符合预设净化条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
可选地，语料样本包括提问样本和该提问样本对应的回答样本；
第一训练模块530，具体被配置为针对各文本集，将该文本集中的提问样本输入预设神经网络，得到预测回答结果；比较预测回答结果与提问样本对应的回答样本，得到差异值；基于差异值，调整预设神经网络的网络参数，并返回执行将该文本集中的提问样本输入预设神经网络，得到预测回答结果的步骤，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止训练，确定网络参数调整后的预设神经网络为该文本集对应的问答模型。
可选地，预设神经网络为BiLSTM。
可选地，第二训练模块，具体被配置为将实时问句输入第一文本集对应的问答模型，得到预测回答结果；比较预测回答结果与第一提问样本对应的回答样本，得到差异值；基于差异值，调整第一文本集对应的问答模型的模型参数，并返回执行将实时问句输入第一文本集对应的问答模型，得到预测回答结果的步骤，直至差异值小于预设阈值或者返回执行的次数达到预设次数，则停止本轮对第一文本集对应的问答模型的训练。
应用本申请实施例提供的方案，基于各语料样本的语境标签，将海量的语料样本进行划分，建立了多个任务导向型的文本集，每一个文本集中的语料样本具有相同的任务类型，这样，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个文本集对应的问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，从而能够提高模型应用的精准度。
相应于上述问答方法实施例，图6示出了本申请实施例提供的一种问答装置的结构示意图，该问答装置包括：
第二获取模块610，被配置为获取提问语句；
答复模块620，被配置为将提问语句输入利用上述问答模型训练方法训练得到的问答模型中，得到提问语句对应的回答语句。
本申请实施例中，问答方法的执行主体可以是执行问答功能的智能设备。应用本申请实施例的方案，由于在进行问答模型训练时，基于各语料样本的语境标签，将海量的语料样本进行划分，建立了多个任务导向型的文本集，每一个文本集中的语料样本具有相同的任务类型，这样，针对各文本集分别进行训练，得到各文本集对应的问答模型，每个文本集对应的问答模型的训练耗时更短，且一个问答模型针对的是一种任务类型，针对性更强，从而能够提高模型应用的精准度。这样，在利用训练好的问答模型对提问语句进行智能答复时，能够提高回答语句的准确性。
图7示出了根据本申请实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Card))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX，World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near Field Communication)接口，等等。
在本申请的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中，处理器720用于执行如下计算机可执行指令，处理器720执行计算机可执行指令时实现上述问答模型方法或问答方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的问答模型方法、问答方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述问答模型方法、问答方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前述问答模型方法或问答方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的问答模型方法、问答方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述问答模型方法、问答方法的技术方案的描述。
本申请实施例公开了一种芯片，其存储有计算机指令，该计算机指令被处理器执行时实现如前述问答模型方法或问答方法的步骤。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (15)
1.一种问答模型训练方法，其特征在于，包括：
获取基于指定领域构建的语料库，其中，所述语料库包括大量的语料样本，所述语料样本携带语境标签；
基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集；
针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
2.根据权利要求1所述的问答模型训练方法，其特征在于，在所述基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之后，所述方法还包括：
针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组。
3.根据权利要求2所述的问答模型训练方法，其特征在于，所述针对各文本集，利用语义分析算法，提取出该文本集中各语料样本的关键词，得到各语料样本的关键词组的步骤，包括：
针对各文本集，根据该文本集中各语料样本的词特征，利用语义分析算法，计算各语料样本中的词重要度；
针对各语料样本，根据该语料样本中的词重要度，提取词重要度高于预设阈值的关键词，组成该语料样本的关键词组。
4.根据权利要求2所述的问答模型训练方法，其特征在于，所述语料样本包括提问样本和所述提问样本对应的回答样本；
在所述针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型的步骤之后，所述方法还包括：
获取实时问句，利用所述语义分析算法，提取出所述实时问句中的关键词，得到所述实时问句的关键词组；
将所述实时问句的关键词组与所述各文本集中各提问样本的关键词组分别进行比对，确定与所述实时问句相似度最高的第一提问样本及所述第一提问样本所属的第一文本集；
以所述实时问句作为输入、所述第一提问样本对应的回答样本作为标称信息，对所述第一文本集对应的问答模型进行训练，记录下本轮迭代训练的所述实时问句的关键词组；
返回执行所述获取实时问句，利用所述语义分析算法，提取出所述实时问句中的关键词，得到所述实时问句的关键词组的步骤，并结合已记录的各轮迭代训练的实时问句的关键词组，进行下一轮迭代，得到多轮迭代训练后的问答模型。
5.根据权利要求1-4任一项所述的问答模型训练方法，其特征在于，所述语境标签的添加方式为：利用隐含狄利克雷分布LDA模型，为所述语料库中的各语料样本添加语境标签。
6.根据权利要求1-4任一项所述的问答模型训练方法，其特征在于，所述语料样本还携带有时间标签；在所述基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之前，所述方法还包括：
根据各语料样本的时间标签，筛选出符合预设时间条件的语料样本；
所述基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤，包括：
基于符合所述预设时间条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
7.根据权利要求1-4任一项所述的问答模型训练方法，其特征在于，在所述基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤之前，所述方法还包括：
利用预设的净化规则，筛选出符合预设净化条件的语料样本；
所述基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集的步骤，包括：
基于符合所述预设净化条件的各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集。
8.根据权利要求1所述的问答模型训练方法，其特征在于，所述语料样本包括提问样本和所述提问样本对应的回答样本；
所述针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型的步骤，包括：
针对各文本集，将该文本集中的提问样本输入预设神经网络，得到预测回答结果；
比较所述预测回答结果与所述提问样本对应的回答样本，得到差异值；
基于所述差异值，调整所述预设神经网络的网络参数，并返回执行将该文本集中的提问样本输入预设神经网络，得到预测回答结果的步骤，直至所述差异值小于预设阈值或者返回执行的次数达到预设次数，则停止训练，确定网络参数调整后的预设神经网络为该文本集对应的问答模型。
9.根据权利要求1或8所述的问答模型训练方法，其特征在于，所述预设神经网络为双向长短期记忆网络BiLSTM。
10.根据权利要求4所述的问答模型训练方法，其特征在于，所述以所述实时问句作为输入、所述第一提问样本对应的回答样本作为标称信息，对所述第一文本集对应的问答模型进行训练的步骤，包括：
将所述实时问句输入所述第一文本集对应的问答模型，得到预测回答结果；
比较所述预测回答结果与所述第一提问样本对应的回答样本，得到差异值；
基于所述差异值，调整所述第一文本集对应的问答模型的模型参数，并返回执行所述将所述实时问句输入所述第一文本集对应的问答模型，得到预测回答结果的步骤，直至所述差异值小于预设阈值或者返回执行的次数达到预设次数，则停止本轮对所述第一文本集对应的问答模型的训练。
11.一种问答方法，其特征在于，包括：
获取提问语句；
将所述提问语句输入利用如权利要求1-10任一项所述的方法训练得到的问答模型中，得到所述提问语句对应的回答语句。
12.一种问答模型训练装置，其特征在于，包括：
第一获取模块，被配置为获取基于指定领域构建的语料库，其中，所述语料库包括大量的语料样本，所述语料样本携带语境标签；
文本集建立模块，被配置为基于各语料样本的语境标签，利用预设的任务分类算法，建立多个任务导向型的文本集；
训练模块，被配置为针对各文本集，利用该文本集中的各语料样本，对预设神经网络进行训练，得到该文本集对应的问答模型。
13.一种问答装置，其特征在于，包括：
第二获取模块，被配置为获取提问语句；
答复模块，被配置为将所述提问语句输入利用如权利要求1-10任一项所述的方法训练得到的问答模型中，得到所述提问语句对应的回答语句。
14.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-10任意一项或者11所述方法的步骤。
15.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-10任意一项或者11所述方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021107908366 | 2021-07-13 | ||
| CN202110790836 | 2021-07-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114328841A true CN114328841A (zh) | 2022-04-12 |
Family
ID=81023351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111678800.5A Pending CN114328841A (zh) | 2021-07-13 | 2021-12-31 | 问答模型训练方法及装置、问答方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114328841A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402166A (zh) * | 2023-06-09 | 2023-07-07 | 天津市津能工程管理有限公司 | 一种预测模型的训练方法、装置、电子设备及存储介质 |
| CN117592567A (zh) * | 2023-11-21 | 2024-02-23 | 广州方舟信息科技有限公司 | 药品问答模型训练方法、装置、电子设备和存储介质 |
| WO2024187581A1 (zh) * | 2023-03-16 | 2024-09-19 | 上海卓繁信息技术股份有限公司 | 一种用于政务动态更新的多轮对话方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101566998A (zh) * | 2009-05-26 | 2009-10-28 | 华中师范大学 | 一种基于神经网络的中文问答系统 |
| CN108491433A (zh) * | 2018-02-09 | 2018-09-04 | 平安科技（深圳）有限公司 | 聊天应答方法、电子装置及存储介质 |
| CN110083824A (zh) * | 2019-03-18 | 2019-08-02 | 昆明理工大学 | 一种基于多模型组合神经网络的老挝语分词方法 |
| CN110647914A (zh) * | 2019-08-14 | 2020-01-03 | 深圳壹账通智能科技有限公司 | 智能服务水平训练方法、装置及计算机可读存储介质 |
| CN112131363A (zh) * | 2020-09-23 | 2020-12-25 | 深圳技术大学 | 自动问答方法、装置、设备及存储介质 |
| CN112685548A (zh) * | 2020-12-31 | 2021-04-20 | 中科讯飞互联(北京)信息科技有限公司 | 问题回答方法以及电子设备、存储装置 |
-
2021
- 2021-12-31 CN CN202111678800.5A patent/CN114328841A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101566998A (zh) * | 2009-05-26 | 2009-10-28 | 华中师范大学 | 一种基于神经网络的中文问答系统 |
| CN108491433A (zh) * | 2018-02-09 | 2018-09-04 | 平安科技（深圳）有限公司 | 聊天应答方法、电子装置及存储介质 |
| CN110083824A (zh) * | 2019-03-18 | 2019-08-02 | 昆明理工大学 | 一种基于多模型组合神经网络的老挝语分词方法 |
| CN110647914A (zh) * | 2019-08-14 | 2020-01-03 | 深圳壹账通智能科技有限公司 | 智能服务水平训练方法、装置及计算机可读存储介质 |
| CN112131363A (zh) * | 2020-09-23 | 2020-12-25 | 深圳技术大学 | 自动问答方法、装置、设备及存储介质 |
| CN112685548A (zh) * | 2020-12-31 | 2021-04-20 | 中科讯飞互联(北京)信息科技有限公司 | 问题回答方法以及电子设备、存储装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024187581A1 (zh) * | 2023-03-16 | 2024-09-19 | 上海卓繁信息技术股份有限公司 | 一种用于政务动态更新的多轮对话方法、装置和电子设备 |
| CN116402166A (zh) * | 2023-06-09 | 2023-07-07 | 天津市津能工程管理有限公司 | 一种预测模型的训练方法、装置、电子设备及存储介质 |
| CN116402166B (zh) * | 2023-06-09 | 2023-09-01 | 天津市津能工程管理有限公司 | 一种预测模型的训练方法、装置、电子设备及存储介质 |
| CN117592567A (zh) * | 2023-11-21 | 2024-02-23 | 广州方舟信息科技有限公司 | 药品问答模型训练方法、装置、电子设备和存储介质 |
| CN117592567B (zh) * | 2023-11-21 | 2024-05-28 | 广州方舟信息科技有限公司 | 药品问答模型训练方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633409B (zh) | 一种融合规则与深度学习的汽车新闻事件抽取方法 | |
| CN101305366B (zh) | 从非结构化文本提取和显现图表结构化关系的方法和系统 | |
| Lei et al. | Patent analytics based on feature vector space model: A case of IoT | |
| CN112434535B (zh) | 基于多模型的要素抽取方法、装置、设备及存储介质 | |
| CN114328841A (zh) | 问答模型训练方法及装置、问答方法及装置 | |
| CN108415953A (zh) | 一种基于自然语言处理技术的不良资产经营知识管理方法 | |
| CN112699685B (zh) | 基于标签引导的字词融合的命名实体识别方法 | |
| Varghese et al. | Bidirectional LSTM joint model for intent classification and named entity recognition in natural language understanding | |
| Chandra et al. | Utilizing gated recurrent units to retain long term dependencies with recurrent neural network in text classification | |
| CN116975267A (zh) | 一种信息处理方法、装置及计算机设备、介质、产品 | |
| CN116821372A (zh) | 基于知识图谱的数据处理方法、装置、电子设备及介质 | |
| CN118260717A (zh) | 互联网低轨卫星情报挖掘方法、系统、装置及介质 | |
| CN113902569A (zh) | 数字资产中的绿色资产的占比的识别方法及相关产品 | |
| Prabhakar et al. | Performance analysis of hybrid deep learning models with attention mechanism positioning and focal loss for text classification | |
| CN113869054A (zh) | 一种基于深度学习的电力领域项目特征识别方法 | |
| CN113076744A (zh) | 一种基于卷积神经网络的文物知识关系抽取方法 | |
| CN112925983A (zh) | 一种电网资讯信息的推荐方法及系统 | |
| Wang | Research on the art value and application of art creation based on the emotion analysis of art | |
| CN116702784A (zh) | 实体链接方法、装置、计算机设备和存储介质 | |
| CN109635289B (zh) | 词条分类方法及审计信息抽取方法 | |
| Samudera et al. | Sentiment Analysis of User Reviews on BSI Mobile and Action Mobile Applications on the Google Play Store Using Multinomial Naive Bayes Algorithm | |
| CN116186220A (zh) | 信息检索方法、问答处理方法、信息检索装置及系统 | |
| CN115129863A (zh) | 意图识别方法、装置、设备、存储介质和计算机程序产品 | |
| CN113946649A (zh) | 调解预案的提供方法、训练方法、相关装置及存储介质 | |
| Le et al. | A multi-filter BiLSTM-CNN architecture for vietnamese sentiment analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |