CN111949786B - 智能问答模型优化方法及装置 - Google Patents
智能问答模型优化方法及装置 Download PDFInfo
- Publication number
- CN111949786B CN111949786B CN202010830599.7A CN202010830599A CN111949786B CN 111949786 B CN111949786 B CN 111949786B CN 202010830599 A CN202010830599 A CN 202010830599A CN 111949786 B CN111949786 B CN 111949786B
- Authority
- CN
- China
- Prior art keywords
- question
- model
- target
- answer
- answering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种智能问答模型优化方法及装置，该方法包括：获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；通过终端接收反馈的目标问题的人工答案；通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。本发明通过目标问题的人工答案及模型答案对智能问答模型进行优化，在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化效果。
Description
技术领域
本发明涉及知识问答技术领域，尤其涉及智能问答模型优化方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
智能问答系统是一种针对自然语言处理的新型信息检索系统，其是将积累的无序预料信息进行科学和有序的整理，建立基于知识库的智能问答模型。目前，基于知识库的智能问答系统已在传统智能检索的基础上增加了机器学习，在各个领域中广泛应用。
虽然智能问答系统已能够针对大部分问题进行回答，然而由于语义理解的复杂性，目前智能问答系统仍存在无法回答的问题。同时由于智能问答系统的日均交互量巨大，无法回答的问题也较多，通常是以报表的形式将智能问答系统未回答的问题进行整理和反馈。在对智能问答模型进行优化时，智能问答系统的维护优化人员花费大量的时间和精力对智能问答系统未回答的问题进行梳理，然后维护到智能问答系统的知识库中。进而通过该知识库中维护更新的问答对智能问答模型进行手动训练和优化，导致整个智能问答模型优化过程较长，效率普遍较低；同时智能问答模型的优化效果也较差。
因此，现有智能问答模型的手工优化存在效率低、效果差的问题。
发明内容
本发明实施例提供一种智能问答模型优化方法，用以提高知识问答系统的优化效率及优化效果，该智能问答模型优化方法包括：
获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；
通过终端接收反馈的目标问题的人工答案；
通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；
根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。
本发明实施例还提供一种智能问答模型优化装置，用以提高知识问答系统的优化效率及优化效果，该智能问答模型优化装置包括：
目标问题获取模块，用于获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；
人工答案接收模块，用于通过终端接收反馈的目标问题的人工答案；
模型答案获取模块，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；
问答模型优化模块，用于根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智能问答模型优化方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述智能问答模型优化方法的计算机程序。
本发明实施例中，获取智能问答系统的目标问题，通过终端接收反馈的目标问题的人工答案；通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。本发明实施例通过目标问题的人工答案及模型答案对智能问答模型进行优化，在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的智能问答模型优化方法的实现流程图；
图2为本发明实施例提供的智能问答模型优化方法的另一实现流程图；
图3为本发明实施例提供的智能问答模型优化方法中获取阅读理解模型的实现流程图；
图4为本发明实施例提供的智能问答模型优化方法中步骤103的实现流程图；
图5为本发明实施例提供的智能问答模型优化方法中步骤402的实现流程图；
图6为本发明实施例提供的智能问答模型优化方法中步骤103的另一实现流程图；
图7为本发明实施例提供的智能问答模型优化方法中步骤603的实现流程图；
图8为本发明实施例提供的智能问答模型优化装置的功能模块图；
图9为本发明实施例提供的智能问答模型优化装置的另一功能模块图；
图10为本发明实施例提供的智能问答模型优化装置中获取阅读理解模型的结构框图；
图11为本发明实施例提供的智能问答模型优化装置中模型答案获取模块803的结构框图；
图12为本发明实施例提供的智能问答模型优化装置中问题模型答案确定单元1102的结构框图；
图13为本发明实施例提供的智能问答模型优化装置中模型答案获取模块803的另一结构框图；
图14为本发明实施例提供的智能问答模型优化装置中中心点问题模型答案确定单元1303的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1示出了本发明实施例提供的智能问答模型优化方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，智能问答模型优化方法，其包括：
步骤101，获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；
步骤102，通过终端接收反馈的目标问题的人工答案；
步骤103，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；
步骤104，根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。
智能问答系统每天的问答交互量是巨大的，会存在一部分智能问答系统未回答出来的问题或者未反馈答案的问题。为便于描述，我们可以称这些问题为目标问题。鉴于此，我们在对智能问答模型进行优化时，首先获取到智能问答系统的该部分目标问题，作为后续优化智能问答模型的基础。
具体的，智能问答系统可以以问题报表的形式展现该些目标问题，通过该问题报表获取智能问答系统的目标问题。或者智能问答系统还可以以问题文本的方式展现该些目标问题，通过该问题文本获取智能问答系统的目标问题。本领域技术人员可以理解的是，智能问答系统还可以以问题报表或问题文本之外的其它方式进行展示，本发明实施例对此不作特别的限制。
在获取到智能问答系统的系统后，为了实现对智能问答模型的优化，需要确定该些目标问题对应的答案，最后基于该些目标问题及目标问题的答案对智能问答模型进行优化。其中，在获取智能问答系统的该些目标问题的答案时，首先可以获取人工针对该些目标问题反馈的人工答案。即在获取到智能问答系统的目标问题后，将智能问答系统的目标问题反馈给人工处理，以期获得目标问题的答案。例如，可以反馈给智能问答系统领域的智能问答专家或者是对智能问答系统的知识库进行维护的维护人员或者智能问答系统的运维人员等等。具体的，该些智能问答专家或者维护人员或者运维人员等，可以通过终端，例如电脑终端、移动终端及包括平板电脑、个人掌上电脑等其它终端，反馈该些目标问题的答案，即通过终端接收(智能问答专家等)反馈的目标问题的人工答案。鉴于智能问答专家等能够较好得、更准确的理解目标问题，从而获得更为准确的目标问题的答案。因此，基于目标问题及目标问题的人工答案对智能问答模型进行优化，能够提高智能问答模型优化的效果。
另外，在获取目标问题的人工答案的同时，还可以进一步获取该些目标问题的模型答案。目标问题的模型答案是指通过预先训练好的阅读理解模型获得的目标问题的答案。具体的，可以首先对阅读理解模型进行训练，在训练结束后获得训练好的阅读理解模型。该训练好的阅读理解模型能够基于目标问题，从知识库中匹配与目标问题对应的最为准确的答案。通过训练好的阅读理解模型获取目标问题的模型答案，准确性相较于接收到的人工反馈的人工答案相对较差，但是目标问题的模型答案获取效率相较于人工答案的获取效率提升非常明显。故基于阅读理解模型获得的目标问题的模型答案及目标问题，对智能问答模型进行优化，能够大幅提高智能问答模型优化的效率。
据此，在分别获取到目标问题的人工答案及模型答案后，基于该智能问答系统的目标问题、目标问题的人工答案以及目标问题的模型答案，对智能问答模型进行优化。故，基于人工答案及模型答案优化智能问答模型，能够在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化的效果。
在本发明实施例中，获取智能问答系统的目标问题，通过终端接收反馈的目标问题的人工答案；通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。本发明实施例通过目标问题的人工答案及模型答案对智能问答模型进行优化，在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化效果。
图2示出了本发明实施例提供的智能问答模型优化方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高智能问答模型优化的效率，如图2所示，智能问答模型优化方法，在上述图1所示方法步骤的基础上，还包括：
步骤201，对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集。
相应的，步骤102，通过终端接收反馈的目标问题的人工答案，包括：
步骤202，通过终端接收反馈的目标问题集的人工答案。
相应的，步骤103，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案，包括：
步骤203，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案。
相应的，步骤104，根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化，包括：
步骤204，根据智能问答系统的目标问题集、目标问题集的人工答案及模型答案，对智能问答模型进行优化。
鉴于智能问答系统的问答交互量巨大，故智能问答系统展现的目标问题可能数量较多。为了进一步提高智能问答模型优化的效率，在获取到智能问答系统的目标问题后，可以通过聚类算法首先对目标问题进行聚类，以获得聚类后的目标问题集。目标问题集包括了多个语义相同或者相似的目标问题。目标问题集中的所有目标问题可以通过同一个语义进行概括或者描述。另外，鉴于目标问题集中多个目标问题的语义相同或者相似，故可以采用同一个答案作为该目标问题集中所有目标问题的答案。
其中，在对目标问题进行聚类时可以采用无监督学习的聚类算法，k-means聚类算法等，本领域技术人员可以理解的是，聚类算法还可以采用除上述无监督学习的聚类算法、k-means聚类算法之外的其它聚类算法，本发明实施例对此不作特别的限制。
与上述图1及对应实施例中获取目标问题的人工答案及模型答案相同的是，可以通过终端接收智能问答专家反馈的目标问题集的人工答案，及通过训练好的阅读理解模型获取目标问题集的模型答案。
据此，通过对语义相同或者语义相似的目标问题进行聚类，能够大幅降低获取目标问题集的答案的工作量，提高获取目标问题集的人工答案及模型答案的效率，进而在基于目标问题集的人工答案及模型答案，对智能问答模型进行优化时，能够进一步提高智能问答模型优化的效率。
在本发明实施例中，对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集，通过终端接收反馈的目标问题集的人工答案，通过阅读理解模型获取目标问题集的模型答案，进而基于目标问题集、目标问题集的人工答案及模型答案，对对智能问答模型进行优化，能够进一步提高智能问答模型优化的效率。
图3示出了本发明实施例提供的智能问答模型优化方法中获取阅读理解模型的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高智能问答模型优化的效率，如图3所示，通过如下步骤获得训练好的阅读理解模型：
步骤301，将智能问答系统的知识库知识作为阅读理解语料库；
步骤302，根据阅读理解语料库，利用深度学习及端到端的阅读理解技术训练阅读理解模型，获得训练好的阅读理解模型。
在训练阅读理解模型时，该阅读理解模型以智能问答系统的知识库知识为训练语料，并且智能问答系统的知识库知识每天更新，例如将每日同步到的知识库文档或者知识库信息更新到知识库中，将更新后的知识库知识作为阅读理解语料库。进而以该阅读理解语料库为基础，利用深度学习技术及端到端的阅读理解技术训练阅读理解模型，在训练结束后获得训练好的阅读理解模型。训练好的阅读理解模型能够从知识库中获得问题对应的最为准确的答案，同时基于阅读理解模型获取目标问题(集)的答案，能够提高获取模型答案的效率，进而进一步提高智能问答模型优化的效率。其中，深度学习技术及端到端的阅读理解技术为智能问答领域较为熟知的应用技术，本发明实施例此处不再对此进行深入阐述。
在本发明实施例中，将智能问答系统的知识库知识作为阅读理解语料库，根据阅读理解语料库，利用深度学习及端到端的阅读理解技术训练阅读理解模型，获得训练好的阅读理解模型，能够进一步提高智能问答模型优化的效率。
图4示出了本发明实施例提供的智能问答模型优化方法中步骤103的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取目标问题模型答案的准确性，进一步提高智能问答模型的优化效果，如图4所示，步骤103，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案，包括：
步骤401，通过训练好的阅读理解模型，从智能问答系统的知识库中获取与目标问题的相似度不小于预设相似度的知识库已有问题；
步骤402，将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案。
智能问答系统的知识库中包括大量甚至海量的已有问题及已有问题对应的答案。阅读理解模型可以通过确定与目标问题相似的已有问题，将与目标问题相似的已有问题的答案作为目标问题的答案。
具体的，在通过阅读理解模型获取目标问题的模型答案时，训练好的阅读理解模型首先从知识库中获取部分已有问题，该部分已有问题与目标问题之间的相似度不小于预设相似度。其中，该预设相似度为预先设定的相似度，本领域技术人员可以基于实际情况和具体需求预先设定该预设相似度的值。例如，将该预设相似度预先设定为90％，本领域技术人员可以理解的是，还可以将该预设相似度预先设定为除上述90％之外的其它值，例如85％或者95％等，本发明实施例对此不做特别的限制。
在阅读理解模型从知识库中获取到与目标问题的相似度不小于预设相似度的知识库已有问题后，鉴于与目标问题的相似度不小于预设相似度的知识库已有问题的数量可能为只有一个，更可能有多个，故可以将与目标问题的相似度不小于预设相似度的知识库已有问题对应的一个或多个答案，均作为目标问题的模型答案。例如，可以从与目标问题的相似度不小于预设相似度的知识库已有问题对应的答案中随机选取一个或三个答案，将随机选取的一个或三个答案作为目标问题的模型答案。
在本发明实施例中，通过训练好的阅读理解模型，从智能问答系统的知识库中获取与目标问题的相似度不小于预设相似度的知识库已有问题，进而将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案，能够提高获取目标问题模型答案的准确性。
图5示出了本发明实施例提供的智能问答模型优化方法中步骤402的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取的目标问题模型答案的准确性，进一步提高智能问答模型优化的效果，如图5所示，步骤402，将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案，包括：
步骤501，将与目标问题的相似度最高的知识库已有问题对应的答案作为目标问题的模型答案。
在获取到与目标问题的相似度不小于预设相似度的知识库已有问题后，鉴于与目标问题的相似度最高的知识库已有问题的答案可能是最准确的答案，为了提高获取的目标问题模型答案的准确性，进而进一步提高智能问答模型优化的效果，此处将与目标问题的相似度最高的知识库已有问题对应的答案目标问题的模型答案。
在本发明实施例中，将与目标问题的相似度最高的知识库已有问题对应的答案作为目标问题的模型答案，能够进一步提高智能问答模型优化的效果。
图6示出了本发明实施例提供的智能问答模型优化方法中步骤103的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取目标问题集模型答案的准确性率，进而进一步提高智能问答模型的优化效果，如图6所示，步骤103，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案，包括：
步骤601，确定智能问答系统目标问题集的中心点问题；中心点问题为聚类后作为该目标问题集中心点的目标问题；
步骤602，通过训练好的阅读理解模型，从智能问答系统的知识库中获取与中心点问题的相似度不小于预设相似度的知识库已有问题；
步骤603，将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案。
在对目标问题进行聚类得到聚类后的目标问题集时，为了确定目标问题集的模型答案，此处首先确定目标问题集的中心点问题。该中心点问题为聚类后作为该目标问题集中心点的目标问题。同时，鉴于目标问题集内的所有目标问题的语义相同或者语义相似，故该中心点问题是对目标问题集内所有目标问题语义的概括表述，概括表述后的中心点问题能够作为目标问题集的“代表”，代表目标问题集内所有目标问题。故该中心点问题的答案也可以作为该目标问题集中所有目标问题的答案。其中，概括表述的该中心点问题有可能是该目标问题集中所有目标问题中的其中一个，也可能不是该目标问题集中所有目标问题中的任何一个。
具体的，在通过阅读理解模型获取目标问题集的模型答案时，训练好的阅读理解模型首先从知识库中获取部分已有问题，该部分已有问题与目标问题集的中心点问题之间的相似度不小于预设相似度。
在阅读理解模型从知识库中获取到与中心点问题的相似度不小于预设相似度的知识库已有问题后，鉴于与中心点问题的相似度不小于预设相似度的知识库已有问题的数量可能为只有一个，更可能有多个，故可以将与中心点问题的相似度不小于预设相似度的知识库已有问题对应的一个或多个答案，均作为目标问题集(中所有目标问题)的模型答案。例如，可以从与中心点问题的相似度不小于预设相似度的知识库已有问题对应的答案中随机选取一个或三个答案，将随机选取的一个或三个答案作为目标问题集的模型答案，该目标问题集的模型答案即为目标问题集中所有目标问题的模型答案。
在本发明实施例中，确定智能问答系统目标问题集的中心点问题，通过训练好的阅读理解模型获取与中心点问题的相似度不小于预设相似度的知识库已有问题，将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案，能够提高获取目标问题集模型答案的准确性率，进而进一步提高智能问答模型的优化效果。
图7示出了本发明实施例提供的智能问答模型优化方法中步骤603的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取的目标问题集模型答案的准确性，进而进一步提高智能问答模型优化的效果，如图7所示，步骤603，将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案，包括：
步骤701，将与中心点问题的相似度最高的知识库已有问题对应的答案作为目标问题集的模型答案。
在获取到与中心点问题的相似度不小于预设相似度的知识库已有问题后，鉴于与中心点问题的相似度最高的知识库已有问题的答案可能是最准确的答案，为了提高获取的目标问题集模型答案的准确性，进而进一步提高智能问答模型优化的效果，此处将与中心点问题的相似度最高的知识库已有问题对应的答案目标问题集的模型答案。
在本发明实施例中，将与中心点问题的相似度最高的知识库已有问题对应的答案作为目标问题集的模型答案，能够提高获取的目标问题集模型答案的准确性，进而进一步提高智能问答模型优化的效果。
本发明实施例还提供一种智能问答模型优化装置，如下面的实施例所述。由于这些装置解决问题的原理与智能问答模型优化方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。
图8示出了本发明实施例提供的智能问答模型优化装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
参考图8，所述智能问答模型优化装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述智能问答模型优化装置包括目标问题获取模块801、人工答案接收模块802、模型答案获取模块803及问答模型优化模块804。
目标问题获取模块801，用于获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题。
人工答案接收模块802，用于通过终端接收反馈的目标问题的人工答案。
模型答案获取模块803，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案。
问答模型优化模块804，用于根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。
在本发明实施例中，目标问题获取模块801获取智能问答系统的目标问题，人工答案接收模块802通过终端接收反馈的目标问题的人工答案；模型答案获取模块803通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；问答模型优化模块804根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。本发明实施例通过目标问题的人工答案及模型答案对智能问答模型进行优化，在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化效果。
图9示出了本发明实施例提供的智能问答模型优化装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高智能问答模型优化的效率，参考图9，所述智能问答模型优化装置所包含的各个模块用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述图8所示模块结构的基础上，所述智能问答模型优化装置，还包括目标问题聚类模块901。
目标问题聚类模块901，用于对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集。
相应的，人工答案接收模块802，还用于通过终端接收反馈的目标问题集的人工答案。
相应的，模型答案获取模块803，还用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案。
相应的，问答模型优化模块804，用于根据智能问答系统的目标问题集、目标问题集的人工答案及模型答案，对智能问答模型进行优化。
在本发明实施例中，目标问题聚类模块901对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集，人工答案接收模块802通过终端接收反馈的目标问题集的人工答案，模型答案接收模块803通过阅读理解模型获取目标问题集的模型答案，进而问答模型优化模块804基于目标问题集、目标问题集的人工答案及模型答案，对对智能问答模型进行优化，能够进一步提高智能问答模型优化的效率。
图10示出了本发明实施例提供的智能问答模型优化装置中获取阅读理解模型的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高智能问答模型优化的效率，参考图10，所述获取阅读理解模型所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述获取阅读理解模型包括语料单元1001及训练单元1002。
语料单元1001，用于将智能问答系统的知识库知识作为阅读理解语料库。
训练单元1002，用于根据阅读理解语料库，利用深度学习及端到端的阅读理解技术训练阅读理解模型，获得训练好的阅读理解模型。
在本发明实施例中，语料单元1001将智能问答系统的知识库知识作为阅读理解语料库，根据阅读理解语料库，训练单元1002利用深度学习及端到端的阅读理解技术训练阅读理解模型，获得训练好的阅读理解模型，能够进一步提高智能问答模型优化的效率。
图11示出了本发明实施例提供的智能问答模型优化装置中模型答案获取模块803的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取目标问题模型答案的准确性，进一步提高智能问答模型的优化效果，参考图11，所述模型答案获取模块803所包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述模型答案获取模块803包括问题相似度确定单元1101及问题模型答案确定单元1102。
问题相似度确定单元1101，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取与目标问题的相似度不小于预设相似度的知识库已有问题。
问题模型答案确定单元1102，用于将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案。
在本发明实施例中，问题相似度确定单元1101通过训练好的阅读理解模型，从智能问答系统的知识库中获取与目标问题的相似度不小于预设相似度的知识库已有问题，进而问题模型答案确定单元1102将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案，能够提高获取目标问题模型答案的准确性。
图12示出了本发明实施例提供的智能问答模型优化装置中问题模型答案获取单元1102的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取的目标问题模型答案的准确性，进一步提高智能问答模型优化的效果，参考图6，所述问题模型答案获取单元1102所包含的各个子单元用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述问题模型答案获取单元1102包括问题模型答案获取子单元1201。
问题模型答案获取子单元1201，用于将与目标问题的相似度最高的知识库已有问题对应的答案作为目标问题的模型答案。
在本发明实施例中，问题模型答案获取子单元1201将与目标问题的相似度最高的知识库已有问题对应的答案作为目标问题的模型答案，能够进一步提高智能问答模型优化的效果。
图13示出了本发明实施例提供的智能问答模型优化装置中模型答案获取模块803的另一结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取目标问题集模型答案的准确性率，进而进一步提高智能问答模型的优化效果，参考图13，所述模型答案获取模块803所包含的各个单元用于执行图6对应实施例中的各个步骤，具体请参阅图6以及图6对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述模型答案获取模块803包括中心点问题确定单元1301、中心点问题相似度确定单元1302及中心点问题模型答案确定单元1303。
中心点问题确定单元1301，用于确定智能问答系统目标问题集的中心点问题；中心点问题为聚类后作为该目标问题集中心点的目标问题。
中心点问题相似度确定单元1302，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取与中心点问题的相似度不小于预设相似度的知识库已有问题。
中心点问题模型答案确定单元1303，用于将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案。
在本发明实施例中，中心点问题确定单元1301确定智能问答系统目标问题集的中心点问题，中心点问题相似度确定单元1302通过训练好的阅读理解模型获取与中心点问题的相似度不小于预设相似度的知识库已有问题，中心点问题模型答案确定单元1303将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案，能够提高获取目标问题集模型答案的准确性率，进而进一步提高智能问答模型的优化效果。
图14示出了本发明实施例提供的智能问答模型优化装置中中心点问题模型答案获取单元1303的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高获取的目标问题集模型答案的准确性，进而进一步提高智能问答模型优化的效果，参考图14，所述中心点问题模型答案获取单元1303所包含的各个子单元用于执行图7对应实施例中的各个步骤，具体请参阅图7以及图7对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述中心点问题模型答案获取单元1303包括中心点问题模型答案获取子单元1401。
中心点问题模型答案获取子单元1401，用于将与中心点问题的相似度最高的知识库已有问题对应的答案作为目标问题集的模型答案。
在本发明实施例中，中心点问题模型答案获取子单元1401将与中心点问题的相似度最高的知识库已有问题对应的答案作为目标问题集的模型答案，能够提高获取的目标问题集模型答案的准确性，进而进一步提高智能问答模型优化的效果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述智能问答模型优化方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述智能问答模型优化方法的计算机程序。
综上所述，本发明实施例中，获取智能问答系统的目标问题，通过终端接收反馈的目标问题的人工答案；通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化。本发明实施例通过目标问题的人工答案及模型答案对智能问答模型进行优化，在提高智能问答模型优化效率的同时，兼顾提高智能问答模型优化效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种智能问答模型优化方法，其特征在于，包括：
获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；
通过终端接收反馈的目标问题的人工答案；
通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；
根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化；
还包括：
对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集；
通过终端接收反馈的目标问题的人工答案，包括：
通过终端接收反馈的目标问题集的人工答案；
通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案，包括：
通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案；
根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化，包括：
根据智能问答系统的目标问题集、目标问题集的人工答案及模型答案，对智能问答模型进行优化；
其中，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案，包括：
确定智能问答系统目标问题集的中心点问题；中心点问题为聚类后作为该目标问题集中心点的目标问题；其中，中心点问题是对目标问题集内所有目标问题语义的概括表述；
通过训练好的阅读理解模型，从智能问答系统的知识库中获取与中心点问题的相似度不小于预设相似度的知识库已有问题；
将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案。
2.如权利要求1所述的智能问答模型优化方法，其特征在于，通过如下步骤获得训练好的阅读理解模型：
将智能问答系统的知识库知识作为阅读理解语料库；
根据阅读理解语料库，利用深度学习及端到端的阅读理解技术训练阅读理解模型，获得训练好的阅读理解模型。
3.如权利要求1所述的智能问答模型优化方法，其特征在于，通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案，包括：
通过训练好的阅读理解模型，从智能问答系统的知识库中获取与目标问题的相似度不小于预设相似度的知识库已有问题；
将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案。
4.如权利要求3所述的智能问答模型优化方法，其特征在于，将与目标问题的相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题的模型答案，包括：
将与目标问题的相似度最高的知识库已有问题对应的答案作为目标问题的模型答案。
5.如权利要求1所述的智能问答模型优化方法，其特征在于，将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案，包括：
将与中心点问题的相似度最高的知识库已有问题对应的答案作为目标问题集的模型答案。
6.一种智能问答模型优化装置，其特征在于，包括：
目标问题获取模块，用于获取智能问答系统的目标问题，目标问题为智能问答系统未反馈答案的问题；
人工答案接收模块，用于通过终端接收反馈的目标问题的人工答案；
模型答案获取模块，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题的模型答案；
问答模型优化模块，用于根据智能问答系统的目标问题、目标问题的人工答案及模型答案，对智能问答模型进行优化；
还包括：目标问题聚类模块；
目标问题聚类模块，用于对智能问答系统的目标问题进行聚类，获得聚类后的目标问题集；
人工答案接收模块，还用于通过终端接收反馈的目标问题集的人工答案；
模型答案获取模块，还用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取目标问题集的模型答案；
问答模型优化模块，还用于根据智能问答系统的目标问题集、目标问题集的人工答案及模型答案，对智能问答模型进行优化；
其中，所述模型答案获取模块包括中心点问题确定单元、中心点问题相似度确定单元及中心点问题模型答案确定单元；
中心点问题确定单元，用于确定智能问答系统目标问题集的中心点问题；中心点问题为聚类后作为该目标问题集中心点的目标问题；其中，中心点问题是对目标问题集内所有目标问题语义的概括表述；
中心点问题相似度确定单元，用于通过训练好的阅读理解模型，从智能问答系统的知识库中获取与中心点问题的相似度不小于预设相似度的知识库已有问题；
中心点问题模型答案确定单元，用于将相似度不小于预设相似度的知识库已有问题对应的至少一个答案作为目标问题集的模型答案。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述智能问答模型优化方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述智能问答模型优化方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010830599.7A CN111949786B (zh) | 2020-08-18 | 2020-08-18 | 智能问答模型优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010830599.7A CN111949786B (zh) | 2020-08-18 | 2020-08-18 | 智能问答模型优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949786A CN111949786A (zh) | 2020-11-17 |
| CN111949786B true CN111949786B (zh) | 2024-04-16 |
Family
ID=73342736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010830599.7A Active CN111949786B (zh) | 2020-08-18 | 2020-08-18 | 智能问答模型优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949786B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580831B (zh) * | 2020-11-19 | 2024-03-29 | 国网江苏省电力有限公司信息通信分公司 | 一种基于知识图谱的电力通信网智能辅助运维方法及系统 |
| CN113342946B (zh) * | 2021-05-19 | 2022-11-15 | 北京百度网讯科技有限公司 | 客服机器人的模型训练方法、装置、电子设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893476A (zh) * | 2016-03-29 | 2016-08-24 | 上海智臻智能网络科技股份有限公司 | 智能问答方法、知识库优化方法及装置、智能知识库 |
| CN105893524A (zh) * | 2016-03-31 | 2016-08-24 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
| CN105912629A (zh) * | 2016-04-07 | 2016-08-31 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
| CN107220380A (zh) * | 2017-06-27 | 2017-09-29 | 北京百度网讯科技有限公司 | 基于人工智能的问答推荐方法、装置和计算机设备 |
| CN109063152A (zh) * | 2018-08-08 | 2018-12-21 | 鲸数科技（北京）有限公司 | 智能问答方法、装置及智能终端 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
| CN109977204A (zh) * | 2019-03-08 | 2019-07-05 | 科讯嘉联信息技术有限公司 | 一种基于知识库的智能问答系统和方法 |
| CN111382235A (zh) * | 2018-12-27 | 2020-07-07 | 上海智臻智能网络科技股份有限公司 | 一种问答知识库的优化方法及其装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9311390B2 (en) * | 2008-01-29 | 2016-04-12 | Educational Testing Service | System and method for handling the confounding effect of document length on vector-based similarity scores |
| KR102128549B1 (ko) * | 2018-09-19 | 2020-07-08 | 주식회사 포티투마루 | 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램 |
-
2020
- 2020-08-18 CN CN202010830599.7A patent/CN111949786B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893476A (zh) * | 2016-03-29 | 2016-08-24 | 上海智臻智能网络科技股份有限公司 | 智能问答方法、知识库优化方法及装置、智能知识库 |
| CN105893524A (zh) * | 2016-03-31 | 2016-08-24 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
| CN105912629A (zh) * | 2016-04-07 | 2016-08-31 | 上海智臻智能网络科技股份有限公司 | 一种智能问答方法及装置 |
| CN107220380A (zh) * | 2017-06-27 | 2017-09-29 | 北京百度网讯科技有限公司 | 基于人工智能的问答推荐方法、装置和计算机设备 |
| CN109063152A (zh) * | 2018-08-08 | 2018-12-21 | 鲸数科技（北京）有限公司 | 智能问答方法、装置及智能终端 |
| CN111382235A (zh) * | 2018-12-27 | 2020-07-07 | 上海智臻智能网络科技股份有限公司 | 一种问答知识库的优化方法及其装置 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
| CN109977204A (zh) * | 2019-03-08 | 2019-07-05 | 科讯嘉联信息技术有限公司 | 一种基于知识库的智能问答系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949786A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017329098B2 (en) | Method and device for processing question clustering in automatic question and answering system | |
| CN110334201B (zh) | 一种意图识别方法、装置及系统 | |
| US11349680B2 (en) | Method and apparatus for pushing information based on artificial intelligence | |
| CN107807960B (zh) | 智能客服方法、电子装置及计算机可读存储介质 | |
| CN111949786B (zh) | 智能问答模型优化方法及装置 | |
| DE112016005912T5 (de) | Technologien zur satzende-detektion unter verwendung von syntaktischer kohärenz | |
| CN106126524B (zh) | 信息推送方法和装置 | |
| US20180341700A1 (en) | Artificial intelligence based method and apparatus for determining regional information | |
| CN109582796A (zh) | 企业舆情事件网络的生成方法、装置、设备及存储介质 | |
| EP4239585A1 (en) | Video loop recognition method and apparatus, computer device, and storage medium | |
| AU2017276360B2 (en) | A system for the automated semantic analysis processing of query strings | |
| CN109766422A (zh) | 信息处理方法、装置及系统、存储介质、终端 | |
| CN111144079A (zh) | 一种智能获取学习资源的方法、装置、打印机和存储介质 | |
| CN114140814A (zh) | 情绪识别能力的训练方法、装置及电子设备 | |
| EP4134900A3 (en) | Method and apparatus for recommending content, method and apparatus for training ranking model, device, and storage medium | |
| CN113761220A (zh) | 信息获取方法、装置、设备及存储介质 | |
| CN115544241A (zh) | 一种线上作业的智能推送方法及装置 | |
| CN109492085A (zh) | 基于数据处理的答案确定方法、装置、终端及存储介质 | |
| CN110837549B (zh) | 一种信息处理方法、装置及存储介质 | |
| CN114519397B (zh) | 基于对比学习的实体链接模型的训练方法、装置、设备 | |
| CN116860221A (zh) | 一种低代码数据模型智能推荐方法及系统 | |
| CN110400560B (zh) | 数据处理方法及装置、存储介质、电子装置 | |
| CN115795028A (zh) | 一种公文智能生成方法及系统 | |
| CN110442858A (zh) | 一种问句实体识别方法、装置、计算机设备及存储介质 | |
| KR20190060285A (ko) | 인공 지능 기반의 대화 시스템 및 그 응답 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |