CN110874403B - 提问回答系统、提问回答处理方法以及提问回答整合系统 - Google Patents

Abstract

本发明提供提问回答系统、提问回答处理方法以及提问回答整合系统，能够容易且合适地回答由用户输入的提问。用于提示与输入的输入提问对应的回答的提问回答系统具备：用户输入处理部，其接受输入提问；机器学习装置，其使用根据输入提问推论提问信息的已学习模型来生成与所接受的输入提问对应的检索用的提问信息；不使用已学习模型来生成与所接受的输入提问对应的检索用的提问信息的单词向量装置和带注释提问检索装置；回答检索处理部，其使用通过机器学习装置、单词向量装置和带注释提问检索装置的至少一个生成的提问信息，检索与提问信息对应的回答；对话输出处理部，其提示检索所得到的回答。

Description

提问回答系统、提问回答处理方法以及提问回答整合系统

技术领域

本发明涉及从用户接受提问的输入并提示提问的回答的提问回答系统等。

背景技术

近年来，通过由使用者向系统输入提问句等来进行提问，系统进行对该提问的回答的提问回答系统被使用。

例如，在专利文献1中，记载了一种提问回答系统，其确定词汇回答类型(LAT)而检索回答候选，使用LAT对检索结果进行分析。

例如，在如“想要告知你富士山的高度吗？”那样，提问句是单句的情况下，即使利用现有的技术，也能够构筑提问回答系统。但是，例如在构筑针对预算系统操作的提问回答系统的情况下，输入“希望对案件检索功能进行提问。从X月开始变更了所属而无法进行案件检索。应该怎么办？”那样的提问，因此必须分析多个句子的整体的上下文而提取提问的意图，通过现有的技术无法构筑提问回答系统。

近年来，能够实现以下的操作，即准备包含提问和提问的摘要的多个数据(学习数据)而进行机器学习，针对机器学习的结果输入提问句，并输出提问的摘要，并能够构筑以下的提问回答系统，即将提问的摘要和回答而成的对保存为数据，将提问的摘要作为关键词进行检索，由此确定回答并输出。

如果如上述那样利用机器学习的技术，则能够构筑与存在多个句子的查询对应的提问回答系统，但在利用了机器学习的提问回答系统中，存在以下的一般性课题：(1)在学习数据少的系统初始启动时，需要提高回答精度；(2)降低系统初始启动时的初始学习数据的准备成本；(3)在系统运转后，能够以低学习成本提高提问回答精度；(4)能够实现过度学习的排除。只通过简单的机器学习的技术，无法构筑实用的提问回答系统。

现有技术文献

专利文献

专利文献1：美国专利第8332394号说明书

发明内容

本发明就是鉴于上述情况而提出的，其目的在于：提供能够容易并且合适地回答由用户输入的提问的技术。

为了达到上述目的，一个方面涉及的提问回答系统用于提示与输入的输入提问对应的回答，该提问回答系统具备：接受部，其接受输入提问；第一提问信息生成部，其使用根据输入提问推论提问信息的已学习模型，来生成与所接受的输入提问对应的检索用的提问信息；第二提问信息生成部，其不使用已学习模型地生成与所接受的输入提问对应的检索用的提问信息；回答检索处理部，其使用通过第一提问信息生成部和第二提问信息生成部的至少一个生成的提问信息，检索与提问信息对应的回答；提示部，其提示检索得到的回答。

根据本发明，能够容易并且合适地回答由用户输入的提问。

附图说明

图1是一个实施方式的计算机系统的整体结构图。

图2是说明一个实施方式的回答存储部的数据构造的图。

图3是说明一个实施方式的日志数据存储部的日志的数据构造的图。

图4是说明一个实施方式的监督数据存储部的监督数据的构造的图。

图5是说明一个实施方式的学习数据存储部的学习数据的图。

图6是说明一个实施方式的登记在提问存储部中的提问的例子的图。

图7是说明一个实施方式的登记在辞典存储部中的数据例子的图。

图8是说明一个实施方式的带注释提问存储部的带注释提问的图。

图9是说明一个实施方式的登记在提问存储部中的与产品规格有关的提问的例子的图。

图10是说明一个实施方式的登记在辞典存储部中的与产品规格有关的提问用的数据例子的图。

图11是说明一个实施方式的带注释提问存储部的与产品规格有关的带注释提问的图。

图12是一个实施方式的提问回答处理的流程图。

图13是一个实施方式的提问摘要确定处理的流程图。

图14是一个实施方式的带注释提问检索的提问摘要确定处理的流程图。

图15是一个实施方式的产品规格查询回答处理的流程图。

图16是一个实施方式的带注释提问检索的提问摘要确定处理的流程图。

图17是一个实施方式的机器学习处理的流程图。

图18是一个实施方式的过度学习排除处理的流程图。

图19是第一变形例子的计算机系统的整体结构图。

图20是第一变形例子的整体处理的流程图。

图21是第二变形例子的系统移交处理的流程图。

附图标记说明

1：计算机系统；10：提问回答系统；20：对话处理装置；30：提问摘要查询处理装置；40：提问摘要装置；50：机器学习装置；60：单词向量装置；70：带注释提问检索装置；80：日志检索装置；200：外部检索系统。

具体实施方式

参照附图说明实施方式。此外，以下说明的实施方式并不限定专利请求的发明，另外在实施方式中说明的各要素及其组合的全部并不限于对发明的解决方案是必需的。

图1是一个实施方式的计算机系统的整体结构图。

计算机系统1具备提问回答系统10、作为检索系统的一个例子的外部检索系统200。提问回答系统10、外部检索系统200例如经由有线LAN(局域网)、无线LAN、因特网等网络连接。

提问回答系统10例如由通用服务器、PC(个人计算机)等构成，提示与对预算系统的操作的提问、对产品规格的提问对应的回答。提问回答系统10具备对话处理装置20、提问摘要装置40、日志分析装置80、作为检索处理中介部的一个例子的文档检索处理接口90。

[对话处理装置20]

对话处理装置20具备作为接受部和种类接受部的一个例子的用户输入处理部21、对话输出处理部22、作为确认部和种类判定部的一个例子的对话处理部23、提问摘要查询处理装置30。例如通过由处理器执行程序(提问回答程序)，来构成用户输入处理部21、对话输出处理部22、对话处理部23、以及提问摘要查询处理装置30。

用户输入处理部21接受来自使用者(用户)的提问等的输入。在此，将从用户输入的提问称为输入提问。用户输入处理部21既可以从键盘、鼠标等输入设备接受输入，也可以接受来自经由网络连接的用户的终端(用户终端)的输入。

对话输出处理部22向用户例如显示输出对提问的回答等信息。对话输出处理部22既可以使得向显示器等显示设备显示信息，也可以使得向经由网络连接的用户终端显示。

对话处理部23执行与用户和提问回答系统10内的各部之间的信息的收发(对话)有关的处理。具体地说，对话处理部23将用户输入处理部21从用户接受的输入提问传递到提问摘要查询处理装置30、文档检索处理接口90，或从提问摘要查询处理装置30、文档检索处理接口90接受对输入提问的回答，并传递到对话输出处理部22进行显示。

[提问摘要查询处理装置30]

提问摘要查询处理装置30执行对作为提示部的一个例子的对话处理部23和提问摘要装置40之间的信息的收发进行中介的处理。

提问摘要查询处理装置30具备作为生成控制部的一个例子的提问摘要查询处理部31、回答检索处理部32、回答存储部33。例如通过由处理器执行程序(提问回答程序)，来构成提问摘要查询处理部31、回答检索处理部32。回答存储部33由RAM(随机存取存储器)等存储器、存储设备(HDD(硬盘驱动器)、SSD(固态驱动器)等)构成。提问摘要查询处理部31将从对话处理部23传递的输入提问传递到提问摘要装置40，从提问摘要装置40接受用于在与输入提问对应的检索中使用的提问的摘要(提问摘要：提问信息的一个例子)。提问摘要查询处理部31将从提问摘要装置40接受的提问摘要传递到回答检索处理部32。回答检索处理部32将从提问摘要查询处理部31接受的提问摘要作为关键词，执行针对回答存储部33检索对应的回答的处理，并将通过检索得到的回答传递到对话处理部23。回答存储部33保存提问摘要和与该提问摘要对应的回答而成的对的数据。

[提问摘要装置40]

提问摘要装置40具备机器学习装置50、单词向量装置60、带注释提问检索装置70。

机器学习装置50、单词向量装置60、带注释提问检索装置70分别通过不同的方法生成与输入提问对应的提问摘要。在此，机器学习装置50是第一提问信息生成部的一个例子，单词向量装置60是第二提问信息生成部和向量比较提问信息生成部的一个例子，带注释提问检索装置70是第二提问信息生成部和构成要素比较提问信息生成部的一个例子。这样具备生成提问摘要的方法不同的多个装置的理由是为了提高提问摘要的精度。例如，在机器学习的学习数据少，机器学习装置50的提问摘要的精度差的情况下，通过使用通过其他装置即单词向量装置60、带注释提问检索装置70生成的提问摘要，能够不使提问摘要的精度变差。

此外，作为与机器学习装置不同的装置，将单词向量装置60、带注释提问检索装置70作为例子，但也可以在它们基础上、或代替它们，设为通过其他的方法生成提问摘要的装置。另外，作为与机器学习装置不同的装置，也可以设为单词向量装置60和带注释提问检索装置70的任意一方。

[机器学习装置50]

机器学习装置50具备监督数据存储部51、学习数据生成处理部52、学习数据存储部53、作为学习状态判定部的一个例子的机器学习处理部54、已机器学习模型55。例如通过由处理器执行程序(提问回答程序)，来构成学习数据生成处理部52、机器学习处理部54、已机器学习模型55。监督数据存储部51、学习数据存储部53由RAM等存储器、存储设备构成。

监督数据存储部51存储监督数据。将在后面说明监督数据。学习数据存储部53存储学习数据。学习数据有根据监督数据制作的数据、根据日志数据制作的数据。学习数据生成处理部52根据监督数据存储部51的监督数据，生成学习数据并存储到学习数据存储部53中。

机器学习处理部54使用存储在学习数据存储部53中的学习数据，对学习对象的处理模型(例如神经网络模型)进行机器学习(例如深度学习)，生成已机器学习模型55。在此，处理模型是用于将输入提问作为输入而输出(生成)成为与输入提问对应的摘要的提问摘要的模型。

具体地说，通过机器学习处理部54学习的已机器学习模型55例如分别针对提问摘要的候选计算是输入提问的提问摘要的程度(自信度)，将自信度最高的提问摘要的候选作为输入提问的提问摘要而输出。

[单词向量装置60]

单词向量装置60具备单词向量比较处理部61、提问存储部62。通过由处理器执行程序(提问回答程序)，来构成单词向量比较处理部61。提问存储部62由RAM等存储器、存储设备构成。

提问存储部62存储提问摘要的候选的提问。单词向量比较处理部61针对输入提问的单词计算向量(单词向量)，从提问存储部62中确定(生成)具有与输入提问的单词向量相同或类似的单词向量的提问作为提问摘要，将所确定的提问摘要输出到提问摘要查询处理部31。作为根据文章生成单词向量的方法，例如可以使用one-hot向量等技术。

[带注释提问检索装置70]

带注释提问检索装置70具备带注释提问检索处理部71、注释赋予处理部72、带注释提问存储部73、辞典存储部74、提问存储部75。通过由处理器执行程序(提问回答程序)，来构成带注释提问检索处理部71、注释赋予处理部72。带注释提问存储部73、辞典存储部74、提问存储部75由RAM等存储器、存储设备等构成。

提问存储部75存储包含各种提问的句子或文章。辞典存储部74存储用于确定对于根据句子或文章确定提问的内容来说重要的用语(表达)的信息(用语模式)。带注释提问存储部73存储被附加了表示用于确定提问的内容的重要的用语的注释(annotation)的提问(提问摘要的候选)。

注释赋予处理部72根据存储在提问存储部75中的句子或文章，确定与存储在辞典存储部74中的用语模式相应的句子，针对所确定的句子，附加表示与用语模式相应的位置的注释，并存储到带注释提问存储部73中。例如也可以在带注释提问检索处理部71的处理之前，执行该注释赋予处理部72的处理。

带注释提问检索处理部71分析输入提问的句法，提取输入提问中的表示提问内容的重要(特征性)的用语，将重要的用语作为关键词，从带注释提问存储部73检索取得(生成)提问摘要，并输出到提问摘要查询处理部31。

[日志分析装置80]

日志分析装置80具备日志输出处理部81、作为日志存储部的一个例子的日志数据存储部82、日志分析处理部83。通过由处理器执行程序(提问回答程序)，来构成日志输出处理部81、日志分析处理部83。日志数据存储部82由RAM等存储器、存储设备构成。

日志数据存储部82存储日志数据。将在后面说明日志数据的构造。日志输出处理部81生成日志数据，存储到日志数据存储部82中。日志分析处理部83从日志数据中确定能够作为学习数据而使用的日志，存储到学习数据存储部53中。

[文档检索处理接口90]

文档检索处理接口90对提问回答系统40和外部检索系统200之间的通信进行中介。

[外部检索系统200]

外部检索系统200例如由服务器装置、PC等构成。外部检索系统200具备文档检索/结果显示处理部201、结构指南数据存储部202。结构指南数据存储部202存储定义了产品规格(规格、限制)的文档(结构指南数据)。文档检索/结果显示处理部201接受检索请求，检索与检索请求对应的文档，可显示地向请求方发送检索结果的文档。

接着，详细说明存储在回答存储部33中的数据。

图2是说明一个实施方式的回答存储部的数据构造的图。

在回答存储部33中，存储有使成为关键词的提问摘要331和与提问摘要对应的回答332成为对而得的数据。根据该回答存储部33，能够将成为检索对象的提问摘要作为关键词，检索与该提问摘要对应的回答。

接着，详细说明存储在日志数据存储部82中的日志数据。

图3是说明一个实施方式的日志数据存储部的数据构造的图。

在日志数据存储部82中，存储有使提问822、判定结果823、时间戳824与成为关键词的提问摘要821对应起来所得的日志数据。在提问822中存储为了生成提问摘要821而使用的输入提问。在判定结果823中针对提问摘要821的内容存储是否与用户的输入提问的意图(输入提问的含义)一致的确认结果。在时间戳824中存储制作日志数据的日期时间。

接着，详细说明存储在监督数据存储部51中的监督数据。

图4是说明一个实施方式的监督数据存储部的监督数据的构造的图。

监督数据存储部51存储使提问和与提问对应的摘要(提问摘要)组成对而得的一个以上的监督数据。由提问回答系统10的管理者输入监督数据的提问和提问摘要。此外，在监督数据中，登记有与提问和提问摘要相同的句子。

接着，详细说明存储在学习数据存储部53中的学习数据。

图5是说明一个实施方式的学习数据存储部的学习数据的图。

学习数据存储部53存储使提问和与提问对应的摘要(提问摘要)成对所得的多个学习数据。在此，学习数据包括与监督数据相同的数据、根据监督数据生成的数据、根据日志数据生成的数据。例如，根据监督数据生成的数据是使与监督数据的提问类似的提问(例如向类似表达追加了提问的句子中的动词所得的提问等)和监督数据的提问摘要成对所得的数据。

接着，详细说明存储在提问存储部75中的数据。

图6是说明一个实施方式的登记在提问存储部中的提问的例子的图。在图6中表示出不是产品规格的提问的提问的例子。

提问存储部75存储多个提问的句子或文章。

接着，详细说明存储在辞典存储部74中的数据。

图7是说明一个实施方式的登记在辞典存储部中的数据例子的图。在图7中，表示出为了根据不是产品规格的提问的提问确定提问摘要而利用的用语的模式例子。

辞典存储部74存储为了根据提问确定提问摘要而利用的一个以上的用语模式。作为用语模式，例如有使表示与提问摘要对应的句子所包含的谓语(动词)的信息和表示该谓语的宾语的信息成对所得的模式。在图7的例子中，作为用语模式，存储有谓语是“告知”，作为该谓语的宾语是“*方法”(*是任意的字符串)的模式。根据该用语模式，表示出谓语是“告知”或其变化形并且宾语是“*方法”的句子成为提问摘要的候选。

接着，说明登记在带注释提问存储部73中的带注释提问。

图8是说明一个实施方式的带注释提问存储部的带注释提问的图。此外，

图8是说明在提问存储部75中存储有图6所示的提问的情况下的带注释提问的图。

针对图6的“将X设定为A，但无法检索Y。请告知Y的检索方法”的提问文章，通过注释赋予处理部72分析文章中的句子的构造，确定为是图8的(1)所示那样的构造。这时，注释赋予处理部72在包含有存储在辞典存储部74中的用语模式的情况下，使注释(图中的宾语注释ID1、谓语注释ID1等)和与该用语模式对应的短语对应起来。然后，将包含用语模式的句子作为与该用语模式对应的提问摘要。在该情况下，将注释、注释所对应的短语(在该例子中，为谓语(请告知)、宾语(Y的检索方法))、包含它的句子(摘要)作为带注释提问，存储到带注释提问存储部73中。

另外，针对图6的“将X设定为A，但无法检索Y。请告知Y的对应方法”的提问文章，分析为图8的(2)所示那样的构造，将注释、注释所对应的短语(在该例子中，为谓语(请告知)、宾语(Y的对应方法))、包含它的句子(摘要)作为带注释提问，存储到带注释提问存储部73中。

接着，详细说明存储在提问存储部75中的数据。

图9是说明一个实施方式的登记在提问存储部中的提问的例子的图。在图9中，表示出产品规格的提问的例子。

提问存储部75存储针对产品规格的多个提问的句子或文章。提问可以由一个以上的句子构成。此外，在针对产品规格的提问文章中，例如对于有可能由于存储器的最大容量、OS的种类等的提问而改变的变量部分，设为表示置换的标记(在图9中为“％”)。此外，表示置换的标记能够置换为输入提问中的对应的表达。例如，对于“请告知％存储器的最大容量。”％，在输入提问是“请告知X系列的Y型号的存储器的最大容量。”的情况下，置换为“X系列的Y型号的”。通过根据输入提问的内容进行置换，例如不需要对X系列的每个型号登记用语模式的(宾语)，能够降低负责人的负担。

接着，说明存储在辞典存储部74中的数据的其他例子。

图10是说明一个实施方式的登记在辞典存储部中的数据例子的图。在图10中，表示出为了根据产品规格的提问确定提问摘要而利用的用语的模式例子。

辞典存储部74存储为了根据提问确定提问摘要而利用的一个以上的用语模式。作为用语模式，例如有使与提问摘要对应的句子所包含的表示谓语的信息和表示该谓语的宾语的信息成对所得的模式。此外，成对的模式与同一识别编号(在图中为“001”、“002”等)对应，在图10的例子中，作为用语模式，存储有谓语是“告知”而作为该谓语的宾语是“*存储器的最大容量”(*是任意的字符串)的模式(001的模式)、谓语是“告知”而作为该谓语的宾语是“*OS的限制事项”(*是任意的字符串)的模式(002的模式)。根据该用语模式，表示出谓语的动词原形是“告知”而宾语是“*存储器的最大容量”的句子成为提问摘要的候选，谓语的动词原形是“告知”而宾语是“*OS的限制事项”的句子成为提问摘要的候选。

接着，说明与登记在带注释提问存储部73中的产品规格的提问对应的带注释提问。

图11是说明一个实施方式的带注释提问存储部的与产品规格有关的带注释提问的图。此外，图11是说明在提问存储部75中存储有图9所示的提问的情况下的带注释提问的图。

针对图9的“进行X系列的Y型号的预算。请告知％存储器的最大容量。”的提问文章，通过注释赋予处理部72分析文章中的句子的构造，确定为是图11的(1)所示那样的构造。这时，注释赋予处理部72在包含有存储在辞典存储部74中的用语模式的情况下，使注释(图中的宾语注释ID1、谓语注释ID1等)和与该用语模式对应的短语对应起来。然后，将包含用语模式的句子作为与该用语模式对应的提问摘要。在该情况下，将注释、注释所对应的短语(在该例子中，为谓语(告知)、宾语(*存储器的最大容量))、包含它的句子(摘要)作为带注释提问，存储到带注释提问存储部73中。

另外，针对图9的“进行X系列的Y型号的预算。请告知％OS的限制事项。”的提问文章，将注释、注释所对应的短语(在该例子中，为谓语(告知)、宾语(*OS的限制事项))、包含它的句子(摘要句(要約文))作为带注释提问，存储到带注释提问存储部73中。

接着，说明计算机系统的处理动作。

[提问回答处理]

图12是一个实施方式的提问回答处理的流程图。

提问回答处理是用户开始与提问对应的输入直到接受提问的回答或无法回答的通知的处理。

用户输入处理部21从用户接受查询(提问)的种类，对话处理部23判定提问的种类是否是与产品规格有关的查询(S10)。在此，在本实施方式中，假设对与产品规格有关的查询的处理是不适合于机器学习装置50的处理的处理，通过该判定处理，判定提问的种类是否适合于机器学习装置50的处理。

在其结果是判定为不是与产品规格有关的查询的情况下(S10：否)，对话处理部23使处理前进到步骤S20，另一方面，在判定为是产品规格的查询的情况下(S10：是)，表示对该查询的处理是不适合于机器学习装置50的处理的处理，因此执行产品规格查询回答处理(参照图15)。

在步骤S20中，对话处理部23经由用户输入处理部21接受提问的输入。接着，对话处理部23向提问摘要查询处理部31指示对输入的提问(输入提问)的提问摘要的查询，接受了指示的提问摘要查询处理部31向与指示对应的装置(50、60、70的任意一个)查询与输入提问对应的提问摘要(摘要句)的生成(S30)。

例如，对话处理部23在接受了输入提问后，马上进行指示向机器学习装置50查询提问摘要，在通过向机器学习装置50的提问摘要的查询而得到的提问摘要不合适的情况下，指示向单词向量装置60查询提问摘要，在通过向单词向量装置60的提问摘要的查询而得到的提问摘要不合适的情况下，指示向带注释提问检索装置70查询提问摘要。

通过提问摘要查询处理部31接受了提问摘要的生成的查询的装置执行提问摘要确定处理(S40)。

图13是一个实施方式的提问摘要确定处理的流程图。

在提问摘要确定处理中，执行通过机器学习装置50进行的已机器学习模型的提问摘要确定处理(S41)、通过单词向量装置60进行的基于单词向量比较的提问摘要确定处理(S42)、通过带注释提问检索装置70进行的带注释提问检索处理的提问摘要确定处理(S43)中的所指示的任意一个处理。

[已机器学习模型的提问摘要确定处理]

在步骤S41的已机器学习模型的提问摘要确定处理中，机器学习装置50的已机器学习模型55对输入提问进行输入，生成提问摘要，经由提问摘要查询处理部31将所生成的提问摘要传递到对话处理部23。

[基于单词向量比较的提问摘要确定处理]

在步骤S42的基于单词向量比较的提问摘要确定处理中，单词向量装置60的单词向量比较处理部61从提问存储部62中生成具有与输入提问的单词向量相同或类似的单词向量的提问作为提问摘要，经由提问摘要查询处理部31将所生成的提问摘要传递到对话处理部23。

[通过带注释提问检索进行的提问摘要确定处理]

在步骤S43的通过带注释提问检索进行的提问摘要确定处理(带注释提问摘要确定处理：参照图14)中，带注释提问检索装置70的带注释提问检索处理部71分析输入提问的句法，提取输入提问中的表示提问内容的重要(特征性)的用语，将重要的用语作为关键词，从带注释提问存储部73检索提问摘要，生成提问摘要，经由提问摘要查询处理部31将所生成的提问摘要传递到对话处理部23。

返回到图12的说明，在执行了提问摘要确定处理后，对话处理部23将提问摘要转送到对话输出处理部22，对话输出处理部22向用户提示(显示输出)提问摘要(S50)。

接着，对话处理部23经由用户输入处理部21从用户接收所提示的提问摘要是否合适的确认结果，即提问摘要是否与用户的提问的意图一致的确认结果，根据该确认结果，判定提问摘要是否与用户的意图一致，即提问摘要是否合适(S60)。

在其结果是判定为提问摘要与用户的意图一致(提问摘要合适)的情况下(S60：是)，对话处理部23向日志输出处理部81发出输出日志数据的指示，接受了指示的日志输出处理部81生成包含输入提问、提问摘要、提问摘要是否与用户的提问的意图一致的判定结果(在此为一致的判定结果)的日志数据，输出到日志数据存储部82(S70)。

接着，对话处理部23将提问摘要传递到回答检索处理32，并且指示进行以提问摘要为关键词的回答的检索。回答检索处理32将提问摘要作为关键词，从回答存储部33中检索回答，将检索出的回答传递到对话处理部23(S80)。对话处理部23将传递来的回答传递到对话输出处理部22。对话输出处理部22使显示器等显示回答，由此向用户提示(步骤90)，结束处理。

另一方面，在没有判定为提问摘要与用户的意图一致的情况下(S60：否)，表示提问摘要不合适，因此对话处理部23向日志输出处理部81发出输出日志数据的指示，接受了指示的日志输出处理部81生成包含输入提问、提问摘要、提问摘要是否与用户的提问的意图一致的判定结果(在此为不一致的判定结果)的日志数据，输出到日志数据存储部82(S100)。

接着，对话处理部23判定被判定为与用户的意图不一致的提问摘要是否是通过带注释提问摘要确定处理得到的提问摘要、即是否执行了最后执行的提问摘要确定处理(S110)。

在其结果是判定为被判定为与用户的意图不一致的提问摘要不是通过带注释提问摘要确定处理生成的提问摘要的情况下(S110：否)，为了执行下一个顺序的提问摘要确定处理，对话处理部23使处理前进到步骤S30。另一方面，在判定为被判定为与用户的意图不一致的提问摘要是通过带注释提问摘要确定处理生成的提问摘要的情况下(S110：是)，表示通过全部的提问摘要确定处理进行了提问摘要的生成并且全部都与用户的意图不一致，因此对话处理部23经由对话输出处理部22向用户通知“无法回答查询。”的消息(无法回答响应)(S120)，结束处理。

接着，详细说明带注释提问摘要确定处理(S43)。

图14是一个实施方式的通过带注释提问检索进行的提问摘要确定处理的流程图。

带注释提问检索处理部71在通过句法分析技术将用户的输入提问分解为单句后，将单句分解为主语、宾语的项目(S44)。接着，带注释提问检索处理部71将分解后的项目的值作为关键词，从带注释提问存储部73检索带注释提问(S45)。

接着，带注释提问检索处理部71针对从输入提问得到的项目、通过检索得到的各带注释提问的项目，根据余弦类似度等技术计算类似度，并对计算出的类似度进行比较(S46)。接着，带注释提问检索处理部71将与从输入提问得到的项目的类似度最高的带注释提问的提问摘要、该提问摘要的句法分析结果发送到提问摘要查询处理部31(S47)，结束处理。

接着，详细说明产品规格查询回答处理(S200)。

图15是一个实施方式的产品规格查询回答处理的流程图。

首先，对话处理部23经由用户输入处理部21接受与产品规格有关的提问的输入(S210)。接着，对话处理部23经由提问摘要查询处理部31，向带注释提问检索装置70查询与输入提问对应的提问摘要(摘要句)的生成(S220)。

带注释提问检索装置70执行通过带注释提问检索进行的提问摘要确定处理(S230)。由此，带注释提问检索装置70的带注释提问检索处理部71将所生成的提问摘要传递到提问摘要查询处理部31。

提问摘要查询处理部31用输入提问(例如、请告知X型号的存储器的最大容量。)中的对应的部分(“X型号的”)置换提问摘要中的变量(例如图9的“％”)，生成最终的提问摘要(请告知X型号的存储器的最大容量。)，并传递到对话处理部23(S240)。

接着，对话处理部23将提问摘要转送到对话输出处理部22，对话输出处理部22向用户提示(显示输出)提问摘要(S250)。

接着，对话处理部23经由用户输入处理部21从用户接收所提示的提问摘要是否合适的确认结果，即提问摘要是否与用户的提问的意图一致的确认结果，根据该确认结果，判定提问摘要是否与用户的意图一致(S260)。

在其结果是判定为提问摘要与用户的意图一致的情况下(S260：是)，对话处理部23将提问摘要的句法分析结果传递到文档检索处理接口90，文档检索处理接口90调用外部检索系统200的文档检索/结果显示部201，并传递提问摘要的句法分析结果(S270)。由此，所调用的文档检索/结果显示100将提问摘要的句法分析结果作为关键词，从结构指南数据存储部202中检索文档，将检索结果返回到文档检索处理接口90。

文档检索处理接口90接收从外部检索系统200返回的检索结果，传递到对话处理部23(S280)。对话处理部23将所传递的检索结果传递到对话输出处理部22。对话输出处理部22通过使显示器等显示检索结果来向用户提示(步骤290)，结束处理。

另一方面，在判定为提问摘要与用户的意图不一致的情况下(S260：否)，对话处理部23经由对话输出处理部22向用户通知“无法回答查询。”的消息(S300)，结束处理。

接着，详细说明带注释提问摘要确定处理(S230)。

图16是一个实施方式的通过带注释提问检索进行的提问摘要确定处理的流程图。

带注释提问检索处理部71在通过句法分析技术将用户的输入提问分解为单句后，将单句分解为主语、宾语的项目(S231)。接着，带注释提问检索处理部71将分解后的项目的值(“请告知”等)作为关键词，从带注释提问存储部73检索带注释提问(S232)。

接着，带注释提问检索处理部71针对从输入提问得到的项目、通过检索得到的各带注释提问的项目，根据余弦类似度等技术计算类似度，并对计算出的类似度进行比较(S233)。接着，带注释提问检索处理部71将与从输入提问得到的项目的类似度最高的带注释提问的提问摘要、该提问摘要的句法分析结果发送到提问摘要查询处理部31(S234)，结束处理。

[机器学习处理]

接着，说明机器学习处理。

图17是一个实施方式的机器学习处理的流程图。

例如在每次经过预定的时间、或在日志数据存储部82的日志数据的数据量成为预定量的情况等下，执行机器学习处理。

首先，日志分析处理部83从日志数据存储部82中提取包含被判定为与提问的意图一致的判定结果的日志数据的提问摘要和成为其基础的提问的组(S400)，转送到机器学习装置50的学习数据存储部53，作为学习数据存储(S401)。

然后，机器学习处理部54使用存储在学习数据存储部53中的学习数据，执行已机器学习模型55的机器学习(S402)。

由此，即使预先准备的学习数据少，也能够使用通过提问摘要装置40的任意一个装置(50、60、70)生成的提问摘要的日志数据来增加学习数据，能够提高已机器学习模型55的推论的精度。

[过度学习排除处理]

例如，如果用于学习的学习数据过度增加，则有可能发生已机器学习模型55的推论的精度降低的过度学习。在本实施方式中，为了排除发生这样的过度学习的情况，而执行过度学习排除处理。

图18是一个实施方式的过度学习排除处理的流程图。

例如在执行了机器学习处理后马上执行过度学习排除处理。

机器学习处理部54针对在进行新的机器学习处理之前的已机器学习模型(上一个模型)、通过新的机器学习处理得到的已机器学习模型(最新模型)，分别使用学习数据存储部53的学习数据，测量正确率(S500)。接着，机器学习处理部54判定最新模型的正确率是否比上一个模型的正确率大(S501)。

在其结果是判定为最新模型的正确率比上一个模型的正确率大的情况下(S501：是)，表示最新模型的精度高，因此机器学习处理部54将已机器学习模型55更新为最新模型(S502)，结束处理。

另一方面，在判定为最新模型的正确率不比上一个模型的正确率大的情况下(S501：否)，对于最新模型有可能发生了过度学习，因此机器学习处理部54不将已机器学习模型55更新为最新模型，而直接停止日志分析处理部83从日志数据存储部82的学习数据的转送(S503)，结束处理。

根据过度学习排除处理，能够适当地防止已机器学习模型55成为过度学习的情况。

[事前准备数据外的文件检索]

说明提问回答系统10的事前准备数据外的文件检索处理。

例如，在图12的提问回答处理中没有得到提示的回答的情况下(例如在S110中否的情况)，对话处理部23能够经由文档检索接口90与外部检索系统202连接，从外部检索系统202取得对提问的回答。由此，即使在提问回答系统10中没有学习应该回答的数据，也能够没有事前准备地检索回答。

如以上说明的那样，通过上述实施方式的计算机系统，能够执行基于机器学习的提问摘要生成处理、除此以外的提问摘要生成处理，在通过基于机器学习的提问摘要生成处理无法得到合适的提问摘要的情况下，能够通过其他提问摘要生成处理利用提问摘要，因此在学习数据少而通过基于机器学习的提问摘要生成处理无法得到充分的精度的情况下，也能够提高提问摘要的精度，作为结果能够提高回答精度。另外，在学习数据少而通过基于机器学习的提问摘要生成处理无法得到充分的精度的情况下，也能够提高提问摘要的精度，因此也可以不充实初始的学习数据，能够降低准备费用。另外，在实际利用时，能够将通过各提问摘要生成处理生成的提问摘要作为新的学习数据，因此能够降低用于生成学习数据的成本。另外，在上述实施方式中，向用户提示提问摘要而使其确认是否合适，因此能够降低向用户提示基于错误的提问的回答而给用户带来误解的可能性。

[多个提问回答系统的切换]

接着，说明第一变形例子的计算机系统。

图19是第一变形例子的计算机系统的整体结构图。

第一变形例子的计算机系统1A是具备多个提问回答系统10的系统。此外，向与上述实施方式的计算机系统1相同的结构部分附加相同的符号。

计算机系统1A是提问回答整合系统的一个例子，具备多个提问回答系统10、用户终端500。提问回答系统10的基本结构与上述实施方式的提问回答系统10相同，但针对每个提问回答系统10分别准备存储在回答存储部33、监督数据存储部51、学习数据存储部53、辞典存储部74、提问存储部75中的数据。即，根据提问回答系统10，有时擅长的提问不同、或回答不同，也有时其他提问回答系统10能够回答一个提问回答系统10无法回答的提问。

用户终端500例如由PC等计算机构成，具备对话处理装置选择接受部501、作为请求目的地切换部的一个例子的对话处理装置切换指令部502、对话处理装置切换接口503。例如通过由用户终端500的处理器执行程序，来构成这些功能部。此外，也可以在提问回答系统10中具备用户终端500的功能。

对话处理装置选择接受部501从用户接受要使用的提问回答系统10的指定。对话处理装置切换指令部502根据从对话处理装置选择接受部501接受的用户对提问回答系统10的指定、提问回答系统10的回答状况，进行切换要对话(连接)的提问回答系统10的指令。对话处理装置切换接口503依照对话处理装置切换指令部502的指令，执行切换连接用户终端500的提问回答系统10的处理。

接着，说明第一变形例子的计算机系统1A的处理动作。

图20是第一变形例子的整体处理的流程图。

首先，对话处理装置选择接受部501从用户接受要使用的提问回答系统10的指定(S600)。

接着，对话处理装置切换指令部502根据从对话处理装置选择接受部501接受的提问回答系统10的指定、提问回答系统10的回答状况，进行切换要使用的提问回答系统10的指令，对话处理装置切换接口503依照指令，切换连接的提问回答系统10(S601)。在本例子中，对话处理装置切换指令部502在最初与从用户指定的提问回答系统10连接，而无法从连接的提问回答系统10取得提问的回答的情况下，使得连接其他提问回答系统10。

在连接了提问回答系统10后，通过所连接的提问回答系统10，执行图12所示的提问回答处理(S602)。然后，对话处理装置切换指令部502判定是否能够通过提问回答处理取得提问的回答(S603)。

在其结果是能够通过提问回答处理取得提问的回答的情况下(S603：是)，对话处理装置切换指令部502结束处理，另一方面，在无法通过提问回答处理取得提问的回答的情况下，例如在接受了图12中的步骤S120的无法回答通知的情况下(S603：否)，对话处理装置切换指令部502使处理前进到步骤S601，切换要连接的提问回答系统10，继续执行后续的处理。

根据该处理，在无法取得提问的回答的情况下，能够适当地切换提问回答系统10，因此能够提高得到对提问的回答的可能性。

此外，作为决定要连接的提问回答系统10的方法，可以始终依照用户的指定，也可以预先掌握各提问回答系统10的擅长的提问的种类等，与提问的内容对应地，切换连接目标。

[向有人应对用系统的无缝移交]

接着，说明第二变形例子的计算机系统。

第二变形例子的计算机系统是以下的系统，其在无法通过提问回答系统10回答的情况下，能够向用于由人进行对提问的回答的有人应对用的系统(服务台系统)进行移交。

计算机系统具备作为有人应对用系统的一个例子的服务台系统。另外，提问回答系统10还具备用于从提问回答系统连接服务台系统的移交接口。移交接口相当于移交部的一个例子。

接着，说明第二变形例子的计算机系统的处理动作。

图21是第二变形例子的系统移交处理的流程图。

移交接口判定是否取得了移交指令(S700)。在此，作为移交指令，可以是来自用户的明确的指令，也可以是图12的步骤S120的无法回答通知。

在其结果是没有取得移交指令的情况下(S700：否)，移交接口使处理前进到步骤S700，另一方面，在取得了移交指令的情况下(S700：是)，移交接口从日志数据存储部82取得用户相关的日志数据(提问和所得到的提问摘要的组)(S701)，与服务台系统连接，发送日志数据(S702)。其结果是在服务台系统中，能够由服务台系统的负责人确认地显示日志数据的内容。

接着，移交接口持续地进行能够交换用户和服务台系统的负责人的语音、文字等的通信(S703)，结束处理。

由此，能够从提问回答系统10向服务台系统进行无缝移交。即，通过该系统移交处理，能够容易并且适当地将用户执行的提问的状况移交到服务台系统的负责人。

此外，本发明并不限于上述实施方式，在不脱离本发明的主要内容的范围内，能够适当地变形实施。

例如，在上述实施方式中，作为提问摘要确定处理，能够执行2个提问摘要确定处理，但作为基于已机器学习模型的提问摘要确定处理以外的处理，既可以是一个提问摘要确定处理，也可以能够执行3个以上的提问摘要确定处理。

另外，在上述实施方式中，在执行多个提问摘要确定处理中的一个处理，由此没有得到合适的提问摘要的情况下，执行其他的提问摘要确定处理，由此顺序地执行提问摘要确定处理，但本发明并不限于此，例如也可以执行多个提问摘要确定处理，生成多个提问摘要，从其中选择合适的提问摘要。

另外，在上述实施方式中，最初向用户提供基于已机器学习模型的提问摘要确定处理的提问摘要，以后向用户提供除此以外的提问摘要确定处理的提问摘要，但本发明并不限于此，也可以将向用户提供提问摘要的顺序设为任意的顺序。例如，也可以通过基于已机器学习模型的提问摘要确定处理生成提问摘要，在与所生成的提问摘要对应的可信度(表示在已机器学习模型中被推论为该提问摘要的概率的数值)是预定值以下的情况下，最初向用户提示其他提问摘要确定处理的提问摘要。由此，能够在基于已机器学习模型的提问摘要确定处理的被认为精度低的提问摘要之前，先向用户提示其他提问摘要确定处理的提问摘要。

另外，在上述实施方式中，可以用硬件电路实现处理器进行的处理的一部分或全部。另外，可以从程序源安装上述实施方式的程序。程序源可以是程序发布服务器、或存储介质(例如可移动型的存储介质)。

Claims (11)

1.一种提问回答系统，用于提示与输入的输入提问对应的回答，该提问回答系统的特征在于，具备：

接受部，其接受上述输入提问；

第一提问信息生成部，其使用根据输入提问推论提问信息的已学习模型，生成与所接受的上述输入提问对应的检索用的提问信息；

第二提问信息生成部，其不使用上述已学习模型地生成与所接受的上述输入提问对应的检索用的提问信息；

回答检索处理部，其使用通过上述第一提问信息生成部和上述第二提问信息生成部的至少一个生成的提问信息，检索与上述提问信息对应的回答；以及

提示部，其提示检索得到的上述回答；

其中，上述提问回答系统还具备：学习状态判定部，其测定上述已学习模型对预定的学习数据的正确率，并且测定对上述已学习模型进行新的学习而制作的新已学习模型对上述预定的学习数据的正确率，判定上述新已学习模型的正确率是否比上述已学习模型的正确率低，

在通过上述学习状态判定部判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，上述第一提问信息生成部直接使用上述已学习模型，在没有判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，上述第一提问信息生成部使用上述新已学习模型，

所述提问回答系统还具备：注释赋予处理部、以及带注释提问存储部；

其中，所述注释赋予处理部根据所存储的句子或文章，确定与所存储的用语模式相应的句子；并且所述注释赋予处理部进一步针对所确定的句子，附加表示与所述用语模式相应的位置的注释，用于将所述注释存储到所述带注释提问存储部中。

2.根据权利要求1所述的提问回答系统，其特征在于，

上述第二提问信息生成部具备向量比较提问信息生成部和构成要素比较提问信息生成部的至少一个，上述向量比较提问信息生成部从成为预先准备的提问信息的候选的提问候选中，确定具有关于与上述输入提问相同或类似的单词的向量的提问候选，生成所确定的上述提问候选作为提问信息，上述构成要素比较提问信息生成部从成为提问信息的候选的提问候选中，确定包含与上述输入提问的预定的构成要素的表达相同或类似的表达的提问候选，生成所确定的提问候选作为上述提问信息。

3.根据权利要求1或2所述的提问回答系统，其特征在于，

还具备：确认部，其在通过上述第一提问信息生成部和上述第二提问信息生成部的至少一个生成了提问信息的情况下，从输入了上述输入提问的用户，接受所生成的提问信息是否合适的确认，

上述回答检索部使用通过上述确认部接受了提问信息合适的确认的上述提问信息，来检索回答。

4.根据权利要求3所述的提问回答系统，其特征在于，

上述第一提问信息生成部在上述第二提问信息生成部之前生成上述提问信息，

上述第二提问信息生成部在通过上述确认部接受了通过上述第一提问信息生成部生成的提问信息不适合的确认的情况下，生成上述提问信息。

5.根据权利要求3所述的提问回答系统，其特征在于，

上述第一提问信息生成部在上述第二提问信息生成部之前生成上述提问信息，

在通过上述已学习模型对由上述第一提问信息生成部生成的上述提问信息的推论的可信度是预定值以下的情况下，上述确认部使在通过上述第一提问信息生成部生成的提问信息之前，先对通过上述第二提问信息生成部生成的提问信息确认是否合适，

在接受了上述提问信息不适合的确认的情况下，上述确认部使确认通过上述第一提问信息生成部生成的提问信息是否合适。

6.根据权利要求4或5所述的提问回答系统，其特征在于，还具备：

日志存储部，其存储使上述输入提问和通过上述确认部接受了合适的确认的上述提问信息对应起来的日志；以及

机器学习处理部，其使用存储在上述日志存储部中的上述日志，进行上述已学习模型的学习。

7.根据权利要求1或2所述的提问回答系统，其特征在于，

还具备：检索处理中介部，其在无法生成与上述输入提问对应的合适的提问信息的情况下，向预定的检索系统发送上述输入提问，接受来自上述检索系统的检索结果并提示。

8.根据权利要求1或2所述的提问回答系统，其特征在于，还具备：

日志存储部，其存储使上述输入提问和通过上述第一提问信息生成部和上述第二提问信息生成部生成的上述提问信息对应起来的日志；以及

移交部，其在无法生成与上述输入提问对应的合适的提问信息的情况下，将存储在上述日志存储部中的与上述输入提问对应的日志发送到有人应对用系统。

9.根据权利要求1或2所述的提问回答系统，其特征在于，还具备：

种类接受部，其接受上述输入提问的种类；

种类判定部，其判定通过上述种类接受部接受的上述种类是否适合于通过上述第一提问信息生成部生成与上述输入提问对应的上述提问信息的处理；以及

生成控制部，其在判定为上述种类不适合于生成与上述输入提问对应的上述提问信息的处理的情况下，使得不进行上述第一提问信息生成部的上述提问信息的生成，而通过上述第二提问信息生成部生成上述提问信息。

10.一种提问回答处理方法，是用于提示与输入的输入提问对应的回答的提问回答系统的提问回答处理方法，其特征在于，

该提问回答处理方法进行如下处理：

接受上述输入提问；

执行第一方法和第二方法的至少一个方法，其中，上述第一方法使用根据输入提问推论提问信息的已学习模型，来生成与所接受的上述输入提问对应的检索用的提问信息；上述第二方法不使用上述已学习模型地生成与所接受的上述输入提问对应的检索用的提问信息；

使用通过上述第一方法和上述第二方法的至少一个方法生成的提问信息，检索与上述提问信息对应的回答；以及

提示检索得到的上述回答；

其中，上述提问回答处理方法还进行如下处理：测定上述已学习模型对预定的学习数据的正确率，并且测定对上述已学习模型进行新的学习而制作的新已学习模型对上述预定的学习数据的正确率，判定上述新已学习模型的正确率是否比上述已学习模型的正确率低，

在判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，执行上述第一方法来直接使用上述已学习模型，在没有判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，执行上述第一方法来使用上述新已学习模型，

所述提问回答处理方法还进行如下处理：根据所存储的句子或文章，确定与所存储的用语模式相应的句子；并且进一步针对所确定的句子，附加表示与所述用语模式相应的位置的注释，用于存储所述注释。

11.一种提问回答整合系统，具备多个用于提示与输入的输入提问对应的回答的提问回答系统，该提问回答整合系统的特征在于，

上述提问回答系统具备：

接受部，其接受上述输入提问；

第一提问信息生成部，其使用根据输入提问推论提问信息的已学习模型，来生成与所接受的上述输入提问对应的检索用的提问信息；

第二提问信息生成部，其不使用上述已学习模型地生成与所接受的上述输入提问对应的检索用的提问信息；

确认部，其在通过上述第一提问信息生成部和上述第二提问信息生成部的至少一个生成了提问信息的情况下，从输入了上述输入提问的用户接受所生成的提问信息是否合适的确认；

回答检索处理部，其使用通过上述确认部接受了提问信息合适的确认的上述提问信息，检索与上述提问摘要对应的回答；

提示部，其提示检索得到的上述回答，

上述提问回答整合系统具备：

请求目标切换部，其在任意一个上述提问回答系统中都无法生成与上述输入提问对应的合适的提问信息的情况下，向其他提问回答系统输出上述输入提问；

其中，上述提问回答系统还具备：学习状态判定部，其测定上述已学习模型对预定的学习数据的正确率，并且测定对上述已学习模型进行新的学习而制作的新已学习模型对上述预定的学习数据的正确率，判定上述新已学习模型的正确率是否比上述已学习模型的正确率低，

在通过上述学习状态判定部判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，上述第一提问信息生成部直接使用上述已学习模型，在没有判定为上述新已学习模型的正确率比上述已学习模型的正确率低的情况下，上述第一提问信息生成部使用上述新已学习模型，

所述提问回答系统还具备：注释赋予处理部、以及带注释提问存储部；

其中，所述注释赋予处理部根据所存储的句子或文章，确定与所存储的用语模式相应的句子；并且所述注释赋予处理部进一步针对所确定的句子，附加表示与所述用语模式相应的位置的注释，用于将所述注释存储到所述带注释提问存储部中。