CN108509463A - 一种问题的应答方法及装置 - Google Patents

一种问题的应答方法及装置 Download PDF

Info

Publication number
CN108509463A
CN108509463A CN201710115633.0A CN201710115633A CN108509463A CN 108509463 A CN108509463 A CN 108509463A CN 201710115633 A CN201710115633 A CN 201710115633A CN 108509463 A CN108509463 A CN 108509463A
Authority
CN
China
Prior art keywords
answer
interference
arbiter
information
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710115633.0A
Other languages
English (en)
Other versions
CN108509463B (zh
Inventor
蒋欣
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710115633.0A priority Critical patent/CN108509463B/zh
Priority to EP18760453.3A priority patent/EP3567498A4/en
Priority to PCT/CN2018/077486 priority patent/WO2018157804A1/zh
Publication of CN108509463A publication Critical patent/CN108509463A/zh
Priority to US16/544,267 priority patent/US11734319B2/en
Application granted granted Critical
Publication of CN108509463B publication Critical patent/CN108509463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
    • G10L2015/0636—Threshold criteria for the updating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明实施例公开了一种问题的应答方法，包括：获取目标问题信息，根据目标问题信息确定候选问答对，计算候选问答对中的答案信息的置信度；其中，置信度用于指示候选问答对中的问题信息属于应答数据库或干扰数据库的概率，置信度与候选问答对中的问题信息属于应答数据库的概率正相关，判断置信度是否小于第一预设阈值，当置信度小于第一预设阈值时，则输出无法回答。这样，在根据匹配度从知识库中确定候选问答对后，再计算每个答案信息的置信度，置信度越高，则可以输出该答案信息，若置信度较低，则可以输出无法回答，以免误导用户，提高了应答的准确性。

Description

一种问题的应答方法及装置
技术领域
本发明涉及智能处理领域，尤其涉及一种问题的应答方法及装置。
背景技术
自动问答系统(或简称问答系统)是指对于用户用自然语言提出的问题，能够直接给出答案的系统。按照问题的范围，问答系统可以分为开放领域(open domain)和特定领域(close domain)。顾名思义，开放领域问答系统对于问题的范围不做限制，希望能回答所有世界知识的问题，例如百度知道、Yahoo Answers都是这样的系统。而特定领域系统则专注于回答特定领域的问题，如医疗行业、或者某个特定公司等，例如IBM Watson、StackOverflow都是这样的系统。问答系统实现方法，包括基于信息检索、基于结构化知识库、基于深度神经网络模型等等。无论那种方法，问答系统都是基于一个知识库构建的。知识库可以是各种形式的，如结构化的数据库、非结构化的文本语料库等。对于非结构化知识库，基于信息检索的问答系统是目前主流实现方式，常用的问答网站(如：百度知道、YahooAnswers、Quora、Stack Overflow)，都是基于信息检索的问答系统。问答系统的评价指标主要为其回答问题的准确性，这也是目前大多数关于问答系统的研究和应用关注的重点。但在实际应用中，无论开放领域还是特定领域，任何一个问答系统的知识库都是有限的，所以问答系统能够回答的问题的范围也是一定是有限的。对于问答系统不能回答的问题，本文称之为未知问题(unknown question)。
现有技术中提供了一种基于信息检索的问答系统。该系统中应用于知识库为非结构化的文本语料库的情况。通常，在社区问答系统中，知识库是由很多“问题-答案”对组成，其中问题和答案均为自然语言。使用搜索引擎索引整个知识库，每个“问题-答案”对(简称“问答对”)作为一个“文档”索引。具体方式为：对于用户输入的问题，对其进行分析和处理后，作为查询词检索知识库，并得到候选文档(问答对)列表。基于候选问答对列表进行答案的选择或融合，形成最终答案，并返回给用户。
但是，在基于信息检索的问答系统中，当无法准确匹配到知识库中的问答对时，通常无法保证答案的准确性。例如，假设问答系统的知识库包含如下三个问题：1、问题：“2008年夏季奥运会的举办地是？”，答案：“北京”；2、问题：“哪个城市承办了2012年奥运？”，答案：“伦敦”；3、“2014年冬季奥运会在哪里举行？”，答案：“索契”。
当用户输入的问题为“2016年夏季奥运会的举办地在？”时，搜索引擎会检索该问题库，并计算用户问题与知识库中问题的匹配度，然后判断得到知识库中的第一个问题与用户问题的匹配度最高，从而给出相应的答案：“北京”。但这显然是错误的答案(正确答案为“里约”，不在知识库中)。基于该问答系统的知识库的情况，最合适的回答应该为“无法回答该问题”，即认为该用户问题为未知问题。这样做的原因在于，“无法回答”在这时是一个正确的信息反馈，优于将一个错误的答案返回给用户。
总之，基于信息检索的问答系统没有有效的识别未知问题的机制。原则上，它只能找到知识库中与用户问题相对最匹配的问题，并将相应的答案返回给用户。这时，对于超出问答系统知识库范围的问题，它往往会给用户错误的答案，从而对用户造成误导，甚至损失。
发明内容
本发明实施例提供了一种问题的应答方法，能够识别出用户所提出的问题是否为未知问题，提高应答的准确性。
本发明实施例第一方面提供一种问题的应答方法，包括：
获取用户输入的目标问题信息，再通过搜索引擎从知识库中根据目标问题信息确定候选问答对，计算每个候选问答对中的答案信息的置信度，其中，置信度用于指示候选问答对中的问题信息属于应答数据库或干扰数据库的概率，并且，置信度与候选问答对中的问题信息属于所述应答数据库的概率正相关，应答数据库中存储的是标准问答对，干扰数据库中存储的是干扰问题信息，再判断每个答案信息的置信度是否小于第一预设阈值，若否，则输出所对应的答案信息；若是，则输出无法回答。
这样，在根据匹配度从知识库中确定候选问答对后，再计算每个答案信息的置信度，置信度越高，则表示所对应的问题信息属于储存标准问答对的应答知识库的概率越高，从而表示该答案信息的正确性越高，因此可以输出该答案信息，若置信度较低，则表示所对应的问题信息属于干扰数据库的概率较高，从而确定该目标问题为未知问题，因此可以输出无法回答，以免误导用户，提高了应答的准确性。
一种可能的实现方式中，判断所述置信度是否小于第一预设阈值还可以为：
判断置信度与匹配度的融合值是否小于第一预设阈值，其中，匹配度为所述目标问题信息与应答数据库中所存储的问题信息的匹配度，置信度和匹配度分别与所述融合值正相关。
由于匹配度也可以作为问题准确性的判断依据，因此，可以结合答案信息的置信度以及问题信息的匹配度进行融合计算，比如通过乘积进行计算融合值，当一个答案的置信度为0.8，该答案所对应的问题的匹配度为0.9时，那么其融合值为0.72，再根据该融合值来确定是否输出该答案信息。
另一种可能的实现方式中，在获取目标问题信息之前，还可以先建立虚拟模型生成器，通过生成器从应答数据库选取M个问题集合，并根据M个问题集合训练生成N个干扰问题；将N个干扰问题保存在干扰数据库中。其中，M和N均为大于或等于1的正整数，M和N的取值可以相同，也可以不相同。
另一种可能的实现方式中，还可以先建立虚拟模型判别器，通过判别器从所述应答数据库中选取K个问题集合和从所述干扰数据库中选取L个问题集合，以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本；其中，K和L均为大于或等于1的正整数，K和L的取值可以相同，也可以不相同。
判别器根据所述正例样本和所述负例样本对所述生成器进行模型训练，通过训练后的判别器的模型对生成器所生成的每个干扰问题的归属率进行判别，并将判别结果发送给所述生成器；其中所述归属率用于指示问题属于应答数据库或者干扰数据库的概率。
在对用户的问题进行应答之前，还可以在设备处理离线状态时通过生成器和判别器的对抗性训练来增加设备应答用户的问题的能力。对抗性训练指的是通过生成器不断生成与应答知识库中的问题相似的问题信息作为干扰问题，通过判别器来判别生成器所生成的问题的归属的概率，即通过判别器判别生成器生成的问题属于应答数据库的概率或者属于干扰数据库的概率，再将判别结果发送给生成器，生成器从而根据该判别结果生成新的干扰问题，从而使得生成器的能力提高，能够生成与应答数据库中的更相似的干扰问题，而判别器继续获取新的干扰问题作为负例样本，从而提高了判别器的判别能力，以此循环训练，从而提高了设备计算答案的置信度，进而提高了设备应答用户的问题的准确性。
本发明实施例第二方面提供一种问题的应答装置，包括：
获取单元，用于获取目标问题信息；
确定单元，用于根据所述目标问题信息确定候选问答对；
计算单元，用于计算所述候选问答对中的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库；
判断单元，用于判断所述置信度是否小于第一预设阈值；
输出单元，用于当所述置信度大于或等于所述第一预设阈值时，输出所对应的答案信息，当所述置信度小于所述第一预设阈值时，输出无法回答。
一种可能的实现方式中，判断单元具体用于：
判断所述置信度与匹配度的融合值是否小于第一预设阈值，其中，所述匹配度为所述目标问题信息与所述应答数据库中所存储的问题信息的匹配度，所述置信度和所述匹配度分别与所述融合值正相关。
另一种可能的实现方式中，应答装置还包括：
输入单元，用于在所述获取单元获取目标问题信息之前，将所述应答数据库中的M个问题集合输入至生成器，以使得所述生成器进行模型训练，并根据训练后的模型生成N个干扰问题；
所述获取单元还用于，获取所述生成器所生成的N个干扰问题；
保存单元，用于将所述N个干扰问题保存在所述干扰数据库中。
另一种可能的实现方式中，所述输入单元还用于：在所述获取单元获取目标问题信息之前，将所述应答数据库中的K个问题集合和所述干扰数据库中的L个问题集合输入至判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；
所述输入单元还用于，将所述生成器所生成的干扰问题输入至所述判别器，以使得所述判别器对所述干扰问题进行归属率判别，其中，所述归属率用于指示问题属于应答数据库或者干扰数据库的概率；
所述获取单元还用于，获取所述判别器对所述干扰问题的判别结果；
所述输入单元还用于，将所述判别结果输入至所述生成器，以使得所述生成器根据所述判别器所判别的干扰问题以及所述判别结果进行模型训练，并根据训练后的模型生成新的干扰问题；
所述获取单元还用于，获取所述生成器所生成的新的干扰问题；
所述保存单元还用于，将所述新的干扰问题保存在所述干扰数据库中。
本发明实施例第三方面提供一种问题的应答装置，该应答装置包括：处理器、存储器、收发器，处理器、存储器以及收发器通过总线连接，存储器存储有计算机指令，处理器通过执行所述计算机指令用于实现如下方法：
获取目标问题信息；
根据所述目标问题信息确定候选问答对；
计算所述候选问答对中的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库；
判断所述置信度是否小于第一预设阈值；
当所述置信度小于所述第一预设阈值时，输出无法回答。
本发明实施例第四方面提供一种存储介质，该存储介质存储有用于实现第一方面中问题的应答方法的计算机指令。
本发明实施例第五方面提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述第一方面任意一项的问题的应答方法中的流程。
附图说明
图1为本发明实施例中问题的应答方法所应用的系统架构的一个示意图；
图2为本发明实施例中问题的应答方法的一个实施例示意图；
图3为本发明实施例中对抗性训练的一个实施例示意图；
图4为本发明实施例中生成器生成干扰问题的一个实施例示意图；
图5为本发明实施例中判别器判别问题归属概率的一个实施例示意图；
图6为本发明实施例中问题的应答装置的一个实施例示意图；
图7为本发明实施例中问题的应答装置的另一实施例示意图。
具体实施方式
本发明实施例提供了一种问题的应答方法，能够识别出用户所提出的问题是否为未知问题，提高应答的准确性。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
随着深度学习技术的发展，深度神经网络也被应用于问答系统的各个方面，包括计算问题与问题、问题与答案之间的匹配度、问题的分类、答案的生成等。常用的深度神经网络架构包括前馈神经网络(又称多层感知机)、递归神经网络、卷积神经网络等。
在训练数据充分的情况下，深度神经网络能够捕捉到自然语言的各种变化，从而更好的理解用户提出的问题，提高问答的准确率。本发明中，主要关注如何判断一个用户提出的问题，对于该问答系统来说是未知问题，其判断的过程是通过深度神经网络来实现的。
通常，深度神经网络被用于监督学习的任务中，即有大量的标注数据用来进行模型的训练。而对于问答系统的未知问题识别这一任务，通常情况下只有正样本(问答系统能够回答的问题，即知识库中的所有问题集合)，但没有负样本(未知问题，可以认为是在知识库之外的所有可能的问题)。为了解决这一问题，本发明实施例采用了对抗性训练的思想，来交替训练问题的生成器和判别器，并用最终得到的判别器来识别未知问题的。一个对抗网络带有一个生成器(generator)，从随机输入中生成某类数据；还带有一个判别器(discriminator)，它从生成器或者一组真实数据中获取输入，判别器能够区分来源不同的输入，即判别其来自生成器还是真实数据。两个神经网络交替训练优化，从而生成器能生成更加符合真实数据分布的输入，而判别则能更加精确判断其输入的来源。
参照图1所示，图1为本发明实施例中问题的应答方法所应用的系统架构的一个示意图。
本发明实施例提出了一种能够判断未知问题的问答系统。对于用户提出的问题，该系统问答结合知识库的信息和检索结果，计算答案的置信度，并以此决定给出答案或提示无法回答该问题。具体包含如下模块：
问题概率模型训练模块：以问答系统的知识库中的问题集合为训练数据，训练问题的概率模型。具体的，进行对抗性训练，即交替训练一个问题的生成器和一个问题的判别器。其中，生成器的目标是生成符合训练数据分布的问题样本，而判别器的目标则是区分问题是来自训练数据还是生成器。
搜索引擎模块：对于用户提出的问题，通过搜索引擎搜索问答系统的知识库，得到候选问答对列表。
置信度计算模块：对于每个候选问答对，计算其作为用户问题的答案的置信度。具体的，该置信度由问题概率模型中的判别器所判断的用户问题来自知识库的概率(还可以结合用户问题与候选问答对的匹配度)对候选问答对的置信度进行计算。
答案输出模块：选择置信度最高的候选答案，如果置信度高于某个阈值，则认为问题可以回答，并返回答案；如果置信度低于某个阈值，则认为该问题是未知问题，返回无法回答。
需要说明的是，本发明实施例所描述的问题的应答方法可以由服务器来实现，也可以由终端来实现，终端可以为个人电脑、平板电脑、智能手机等智能设备。上述各个模块的功能实现可以由服务器单独完成，也可以由终端单独完成，还可以由服务器和终端共同实现，由服务器实现一部分模块的功能，由终端实现另一部分模块的功能，比如，由服务器实现问题概率模型训练模块、搜索引擎模块、以及置信度计算模块的功能，由终端实现答案输出模块的功能，具体不做限定。下面，以通过服务器来实现该问题的应答方法进行描述。
参照图2所示，本发明实施例中问题的应答方法的一个实施例包括：
101、获取目标问题信息。
该目标问题信息可以为用户所输入的文字问题，比如“2008奥运会的举办地在哪里？”，用户也可以通过语音输出问题，服务器在接收到语音信息后，可以将该语音转换为所对应的文字信息。
102、根据所述目标问题信息确定候选问答对。
服务器在获取到目标问题信息后，则会通过搜索引擎在问答知识库中搜索与该目标问题信息匹配度高的问题，并获取该匹配度高的问题所对应的答案信息，若该匹配度高的问题包含多个，则获取多个问题所对应的答案信息，以这些问答对作为候选问答对。
102、计算所述候选问答对中的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库。
置信度是一种概率，用于表示该答案信息所对应的问题信息属于应答数据库或干扰数据库的概率。应答数据库中所存储的是标准应答对，即每个问题的答案都是正确的答案，而干扰数据库中所存储的为所训练出的干扰问题，其答案也是不正确或不准确的答案。若问题信息属于应答数据库的概率高，那么则表示其对应的答案的正确性高，这个答案的置信度也就高，若问题信息属于干扰数据库的概率高，那么则表示其对应的答案的正确性就低，这个答案的置信度就低。比如，候选问答对中包含多个匹配度相似的问题信息，如用户输入的问题信息为“2008年奥运会在哪里举行？”，而候选问题中包含来“2008年奥运会的举办地在哪？”和“2016年奥运会在哪里举行？”，两个问题的匹配度都很相近，若只通过匹配度来确定所对应的问题和答案，那么服务器则可能选择“2016年奥运会在哪里举行？”作为最匹配的问题，从而输出错误的答案。因此在本发明实施例中，通过计算两个问题的概率来确定其对应的答案的置信度，通过计算，“2008年奥运会在哪里举行？”该问题属于应答数据库的概率为80％，属于干扰数据库的概率为20％，“2016年奥运会在哪里举行？”该问题属于应答数据库的的概率为10％，属于干扰数据库的概率为90％，那么则确定问题“2008年奥运会在哪里举行？”的置信度高于问题“2016年奥运会在哪里举行？”的置信度，并且可以将问题属于应答数据库的概率作为其对应的答案的置信度，即分别为0.8和0.1。
103、判断所述置信度是否小于第一预设阈值，若否，则执行步骤104，若是则执行步骤105。
第一预设阈值为一个阀门值，大于或等于该阀门值，则表示置信度比较高，小于该阀门值，则表示置信度比较低。比如该第一预设阈值可以为0.7，具体的数值可以根据实际情况进行设置，也可以由服务器进行智能调整。
可选的，还可以将答案信息的置信度与问题信息的匹配度进行结合计算，来判断其对应的答案是否为正确答案，具体为：
判断所述置信度与匹配度的融合值是否小于第一预设阈值，其中，所述匹配度为所述目标问题信息与所述应答数据库中所存储的问题信息的匹配度，所述置信度和所述匹配度分别与所述融合值正相关。
可选的，该融合值可以为置信度与匹配度的乘积所得到的值，也可以是通过其它正相关的计算所得到的值，比如，某个候选问题信息与用户输入的目标问题的信息的匹配度为0.9，该候选问题信息所对应的答案信息的置信度为0.8，那么通过乘积可以计算得到其融合值为0.72，若设置的第一预设阈值为0.7，则表示可以确定该答案信息为正确答案。
104、输出所对应的答案信息。
可选的，在输出答案信息时，若多个答案信息的置信度或融合值大于或等于该第一预设阈值，则可以将多个答案信息全部输出，或者，输出其中置信度最高或者融合值最高的一个答案信息进行输出。
105、输出无法回答。
为了避免输出的答案不正确或不准确，当服务器的知识库中的所有答案信息的置信度或融合值不高时，则表示服务器无法回答该目标问题，服务器则确定该目标问题为未知问题，则向用户输出无法回答，虽然无法解决用户输入的问题，但是不会输出错误的答案来误导用户。
可选的，服务器在确定目标问题为未知问题时，还可以对该目标问题进行更新补充，从其它知识库获取该目标问题的答案，或者通过人工进行更新补充。
图2实施例描述了服务器在获取到用户输入的问题时，根据所计算的候选问答对中答案的置信度来确定是否有准确的答案，从而进行输出。可选的，置信度的计算可以通过训练出一个判别器模型从而进行计算，而干扰数据库中干扰问题的产生可以通过训练处一个生成器模型从而进行干扰问题的生成，具体如下描述：
如图1所示的问题概率模型，问题概率模型是一个机器学习的概率模型。学习阶段，在基于问答知识库的应答数据库上进行模型的训练；使用(测试)阶段，该模型接收用户输入的问题，根据训练得到的模型计算出该问题为已知或未知问题的概率。
本发明实施例采用对抗性训练的方法，训练问题概率模型。具体的，如图3所示，知识库中应答数据库中的问题作为训练数据，对抗性训练包括一个生成器的训练和一个判别器的训练。其中，生成器是一个概率生成模型(其中z为随机向量)，其目标为生成与训练数据(即知识库中的问题集合)分布一致的样本(即自然语言的问题)。判别器D(q)则是一个分类器，其目标为准确判别一个样本(即一个自然语言问题)是来自训练数据、还是来自生成器。这样以来，生成器和判别器形成“对抗”，生成器不断优化使得判别器无法区分出生成样本和训练数据样本的区别，而判别器不断优化使得能够分辨这种区别。生成器和判别器交替训练，最终达到平衡：生成器能生成完全符合训练数据分布的样本(以至判别器无法分辨)，而判别器则能够敏感的分辨任何不符合训练数据分布的样本。
图3展示了具体的训练流程：对于每次判别器的训练，会从知识库(集合T)中随机采样m个问题(集合T′)作为正例样本，同时从生成器中生成n个问题(集合G)作为负例样本(或称为对抗样本)，以T′和G作为训练集合，训练判别器D(q)使其尽可能的区分训练数据中样本的来源(正例样本或负例样本)；对于每次生成器的训练，判别器则作为衡量生成器生成样本是否符合训练数据的准则，生成器根据这个准则进行训练，使其能够尽可能生成判别器判断为正例的样本。如此迭代，直至达到平衡，判别器和生成器都不再变化。最终，判别器被用来判断一个问题是否符合知识库中问题的分布，即该问题能否回答。
如图1所示的答案置信度计算模块，对于一个用户问题，该模块会结合问题概率模型的判断，和该问题在搜索引擎中的检索结果(候选问答对及其匹配度、置信度等)进行综合判断，来确定用户的这个问题能否回答，若能回答，则给出相应答案，若不能回答，则反馈用户该问题无法回答。
具体的，计算问题q和候选答案a(i)的联合分布：
p(q,a(i))＝p(q)p(a(i)|q)＝D(q)g(q,a(i))
该联合分布反映了问题q的先验概率p(q)，即该问题是否在知识库中，和对于该问题，答案a(i)的条件概率p(a(i)|q)，即答案否和问题匹配、是否可信等。先验概率的计算直接使用问题概率模型中判别器的结果D(q)，而条件概率的计算则作为匹配度、置信度等特征的函数g(q,a(i))来计算。根据具体的问题和所掌握的信息，g(q,a(i))函数可能有不同的形式，例如线性函数、多项式函数、神经网络、决策树/森林等等。g(q,a(i))函数中的参数，也可以通过机器学习的方式确定。
结合图2实施例，可选的，在所述获取目标问题信息之前，还可以将所述应答数据库中的M个问题集合输入至生成器，以使得所述生成器进行模型训练，并根据训练后的模型生成N个干扰问题；获取所述生成器所生成的N个干扰问题，并将所述N个干扰问题保存在所述干扰数据库中。
设从问答系统的知识库中应答数据库选取的M个问答对的组成为：其中问题q(i)和答案a(i)均为自然语言。取应答数据库中的问题集合作为对抗性训练的训练数据。
可选的，在此实施例中，使用递归神经网络(英文全称：recurrent neuralnetwork，英文缩写：RNN)作为自然语言问题的生成器，如图4所示，其中，EOS表示结束符号。
具体的，递归神经网络接收一个变长的输入序列(比如，一个自然语言的句子，可以看作是词的序列)，依次计算每个隐藏状态变量(hidden state)：第i个状态变量通过当前的输入词和上一步的状态变量计算：hi＝fh(xi,hi-1)，其中fh是一个多层神经网络。一种简单的实现的方式是fh(xi,hi-1)＝φh(Uxi+Whi-1)，其中φh是一个sigmoid函数，例如：实际中，往往使用更复杂的LSTM(Long Short-Term Memory)或者GRU(Gated Recurrent Unit)来对fh进行建模。同时，当每个状态变量确定后，递归神经网络能够不断产生词，并最终构成一个序列(即一个自然语言的句子)。第i个词产生的概率为：p(yi|y1,...,yi-1)＝gh(hi,yi-1)＝φg(Eyi-1+Wohi)，整句话产生的概率为：由此，当给递归神经网络一个随机的初始输入向量，就能产生得到一句话，而其中的参数，决定了能够产生的自然语言的分布。
可选的，设置判别器模型与生成器模型进行对抗性训练，从而强化生成器生成干扰问题的能力，同时强化判别器判别问题的概率的能力，训练判别器具体可以为：
将应答数据库中的K个问题集合和干扰数据库中的L个问题集合输入至判别器，以使得判别器以K个问题集合作为正例样本，以L个问题集合作为负例样本进行模型训练；将生成器所生成的干扰问题输入至判别器，以使得判别器对干扰问题进行归属率判别，其中，归属率用于指示问题属于应答数据库或者干扰数据库的概率。其中，K和L为大于或等于1的正整数，K和L的具体取值可以相同，也可以不同。
在此实施例中，可以使用卷积神经网络(英文全称：Convolutional NeuralNetwork，英文缩写：CNN)作为自然语言问题的判别器，如图5所示。
具体的，对于输入的序列，采用卷积(convolution)+池化(pooling)的计算方式。卷积的一种计算方式为：其中表示卷积后第i个位置的第j个特征的值，k表示滑动窗口的长度。池化的一种计算方式为求最大值(max-pooling):这种卷积和池化的方式可以反复多次进行。最后，通过对z＝[z1,z2,...,zl]取softmax，得到判别函数：DCNN(q)＝φ(Wqz+bq)。这里DCNN(q)给出了一个问题是否来自应答数据库(即是否可以回答)的概率。
在生成器模型与判别器模型的训练过程中，可以通过两者进行对抗性训练，从而增加两个模型的能力。因此，本实施例中，还可以包含如下步骤：
服务器获取判别器对干扰问题的判别结果，将判别结果输入至生成器，以使得生成器根据判别器所判别的干扰问题以及判别结果进行模型训练，并根据训练后的模型生成新的干扰问题，服务器获取生成器所生成的新的干扰问题，并将新的干扰问题保存在干扰数据库中。服务器将应答数据库中随机的K个问题集合和干扰数据库中随机的L个问题集合输入至判别器，以使得判别器以K个问题集合作为正例样本，以L个问题集合作为负例样本进行模型训练；其中，L个问题集合中包含新生成的干扰问题。
判别器根据所述正例样本和所述负例样本对所述生成器进行模型训练，通过训练后的判别器的模型对生成器所生成的每个干扰问题的归属率进行判别，并将判别结果发送给所述生成器，以使得所述生成器根据所述所述判别器所判别的新的干扰问题和判别结果进行模型训练。依此进行循环的对抗性训练，从而提高生成器生成干扰问题的能力，提高判别器判别干扰问题归属率的能力。
参照上述的举例，具体的，判别器的训练方法为：
步骤1、从知识库中随机采样m个问题作为正例样本；
步骤2、从生成器中选取l个问题作为负例样本；
步骤3、对于判别器DCNN(q；θD)，θD为函数中的参数。优化目标函数：
具体的，采用梯度下降算法求解θD：
具体的，生成器的训练方法可以为：
步骤1、生成n个随机向量其中p(z)＝N(0,σ2I)为正态分布；
步骤2、根据生成器生成n个问题：
步骤3、对于n个问题，用判别器得到其判别结果：
步骤4、对于生成器优化目标函数：
具体的，定义回报函数：目标函数即：
采用梯度下降算法求解θG：
根据REINFORCE算法得到：
对于递归神经网络(RNN)，可以计算得到：
可选的，当所述判别器根据所获取的所有正例样本和负例样本进行问题的归属率的判别所得到的判别结果的变化量小于第二预设阈值时，则停止向判别器输入从所述应答数据库以及所述干扰数据库中选取的问题集合，并停止向生成器输入判别器的判别结果，以停止生成器停止生成新的干扰问题。
即，对抗性训练中，会交替训练判别器和生成器，直至达到平衡。当生成器的能力和判别器的能力训练到一定程度后，判别器判别生成器所生成的问题的归属率将趋向稳定。比如，以固定样本为例，当判别器以固定的正例样本和固定的负例样本作为判别问题的依据时，若预设的次数(比如20次)内所判别的生成器所生成的干扰问题的归属应答数据库的概率浮动在0.39～0.41，则表示判别器的判别能力趋向稳定，此时，则可以停止训练生成器和判别器的模型。
可选的，还可以通过生成器和判别器的训练次数作为判断条件来确定是否停止训练，比如，设置1000次训练指标，若生成器训练过1000次后，则可以停止训练，若判别器训练过1000次后，则可以停止训练。
参照图6所示，本发明实施例中问题的应答装置200的一个实施例包括：
获取单元201，用于获取目标问题信息；
确定单元202，用于根据所述目标问题信息确定候选问答对；
计算单元203，用于计算所述候选问答对中所对应的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库；
判断单元204，用于判断所述置信度是否小于第一预设阈值；
输出单元205，用于当所述置信度大于或等于所述第一预设阈值时，输出所对应的答案信息，当所述置信度小于所述第一预设阈值时，输出无法回答。
可选的，所述判断单元204具体用于：
判断所述置信度与匹配度的融合值是否小于第一预设阈值，其中，所述匹配度为所述目标问题信息与所述应答数据库中所存储的问题信息的匹配度，所述置信度和所述匹配度分别与所述融合值正相关。
可选的，所述应答装置200还包括：
输入单元206，用于在所述获取单元获取目标问题信息之前，将所述应答数据库中的M个问题集合输入至生成器，以使得所述生成器进行模型训练，并根据训练后的模型生成N个干扰问题；
所述获取单元201还用于，获取所述生成器所生成的N个干扰问题；
保存单元207，用于将所述N个干扰问题保存在所述干扰数据库中。
可选的，所述输入单元206还用于：在所述获取单元201获取目标问题信息之前，将所述应答数据库中的K个问题集合和所述干扰数据库中的L个问题集合输入至判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；
所述输入单元206还用于，将所述生成器所生成的干扰问题输入至所述判别器，以使得所述判别器对所述干扰问题进行归属率判别，其中，所述归属率用于指示问题属于应答数据库或者干扰数据库的概率；
所述获取单元201还用于，获取所述判别器对所述干扰问题的判别结果；
所述输入单元206还用于，将所述判别结果输入至所述生成器，以使得所述生成器根据所述判别器所判别的干扰问题以及所述判别结果进行模型训练，并根据训练后的模型生成新的干扰问题；
所述获取单元201还用于，获取所述生成器所生成的新的干扰问题；
所述保存单元207还用于，将所述新的干扰问题保存在所述干扰数据库中。
可选的，所述输入单元206还用于：将所述应答数据库中随机的K个问题集合和所述干扰数据库中随机的L个问题集合输入至所述判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；其中，所述L个问题集合中包含所述新生成的干扰问题。
可选的，所述应答装置200还包括：
停止单元208，用于当所述判别器根据所获取的所有正例样本和负例样本进行问题的归属率的判别所得到的判别结果的变化量小于第二预设阈值时，则停止向所述判别器输入从所述应答数据库以及所述干扰数据库中选取的问题集合，并停止向所述生成器输入所述判别器的判别结果。
图6实施例所述的应答装置200还有另一个形式的实施例，参照图7所示，包括：处理器301、存储器302、收发器303，所述处理器301、所述存储器302以及所述收发器303通过总线304连接，收发器303可以包括发送器与接收器，所述存储器302存储有计算机指令，所述处理器通过执行所述计算机指令用于实现图2实施例中问题的应答方法的功能。具体的实现可以采用各类灵活的设计方式，各个器件相应的功能可以进一步的参考方法实施例，本发明不做限制。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims (12)

1.一种问题的应答方法，其特征在于，所述应答方法包括：
获取目标问题信息；
根据所述目标问题信息确定候选问答对；
计算所述候选问答对中的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库；
判断所述置信度是否小于第一预设阈值；
当所述置信度小于所述第一预设阈值时，输出无法回答。
2.根据权利要求1所述的应答方法，其特征在于，所述判断所述置信度是否小于第一预设阈值，包括：
判断所述置信度与匹配度的融合值是否小于所述第一预设阈值，其中，所述匹配度为所述目标问题信息与所述应答数据库中所存储的问题信息的匹配度，所述置信度和所述匹配度分别与所述融合值正相关。
3.根据权利要求1或2所述的应答方法，其特征在于，在所述获取目标问题信息之前，所述应答方法还包括：
将所述应答数据库中的M个问题集合输入至生成器，以使得所述生成器进行模型训练，并根据训练后的模型生成N个干扰问题；
获取所述生成器所生成的N个干扰问题，并将所述N个干扰问题保存在所述干扰数据库中。
4.根据权利要求3所述的应答方法，其特征在于，在所述获取目标问题信息之前，所述应答方法还包括：
将所述应答数据库中的K个问题集合和所述干扰数据库中的L个问题集合输入至判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；
将所述生成器所生成的干扰问题输入至所述判别器，以使得所述判别器对所述干扰问题进行归属率判别，其中，所述归属率用于指示问题属于应答数据库或者干扰数据库的概率；
获取所述判别器对所述干扰问题的判别结果；
将所述判别结果输入至所述生成器，以使得所述生成器根据所述判别器所判别的干扰问题以及所述判别结果进行模型训练，并根据训练后的模型生成新的干扰问题；
获取所述生成器所生成的新的干扰问题，并将所述新的干扰问题保存在所述干扰数据库中。
5.根据权利要求4所述的应答方法，其特征在于，所述应答方法还包括：
将所述应答数据库中随机的K个问题集合和所述干扰数据库中随机的L个问题集合输入至所述判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；其中，所述L个问题集合中包含所述新生成的干扰问题。
6.根据权利要求5所述的应答方法，其特征在于，所述应答方法还包括：
当所述判别器根据所获取的所有正例样本和负例样本进行问题的归属率的判别所得到的判别结果的变化量小于第二预设阈值时，则停止向所述判别器输入从所述应答数据库以及所述干扰数据库中选取的问题集合，并停止向所述所述生成器输入所述判别器的判别结果。
7.一种问题的应答装置，其特征在于，所述应答装置包括：
获取单元，用于获取目标问题信息；
确定单元，用于根据所述目标问题信息确定候选问答对；
计算单元，用于计算所述候选问答对中的答案信息的置信度；其中，所述置信度用于指示所述候选问答对中的问题信息属于应答数据库或干扰数据库的概率，所述置信度与所述候选问答对中的问题信息属于所述应答数据库的概率正相关，所述应答数据库为存储标准问答对的数据库，所述干扰数据库为存储所训练出的干扰问题信息的数据库；
判断单元，用于判断所述置信度是否小于第一预设阈值；
输出单元，用于当所述置信度小于所述第一预设阈值时，输出无法回答。
8.根据权利要求7所述的应答装置，其特征在于，所述判断单元具体用于：
判断所述置信度与匹配度的融合值是小于第一预设阈值，其中，所述匹配度为所述目标问题信息与所述应答数据库中所存储的问题信息的匹配度，所述置信度和所述匹配度分别与所述融合值正相关。
9.根据权利要求7或8所述的应答装置，其特征在于，所述应答装置还包括：
输入单元，用于在所述获取单元获取目标问题信息之前，将所述应答数据库中的M个问题集合输入至生成器，以使得所述生成器进行模型训练，并根据训练后的模型生成N个干扰问题；
所述获取单元还用于，获取所述生成器所生成的N个干扰问题；
保存单元，用于将所述N个干扰问题保存在所述干扰数据库中。
10.根据权利要求9所述的应答装置，其特征在于，
所述输入单元还用于：在所述获取单元获取目标问题信息之前，将所述应答数据库中的K个问题集合和所述干扰数据库中的L个问题集合输入至判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；
所述输入单元还用于，将所述生成器所生成的干扰问题输入至所述判别器，以使得所述判别器对所述干扰问题进行归属率判别，其中，所述归属率用于指示问题属于应答数据库或者干扰数据库的概率；
所述获取单元还用于，获取所述判别器对所述干扰问题的判别结果；
所述输入单元还用于，将所述判别结果输入至所述生成器，以使得所述生成器根据所述判别器所判别的干扰问题以及所述判别结果进行模型训练，并根据训练后的模型生成新的干扰问题；
所述获取单元还用于，获取所述生成器所生成的新的干扰问题；
所述保存单元还用于，将所述新的干扰问题保存在所述干扰数据库中。
11.根据权利要求10所述的应答装置，其特征在于，
所述输入单元还用于：将所述应答数据库中随机的K个问题集合和所述干扰数据库中随机的L个问题集合输入至所述判别器，以使得所述判别器以所述K个问题集合作为正例样本，以所述L个问题集合作为负例样本进行模型训练；其中，所述L个问题集合中包含所述新生成的干扰问题。
12.根据权利要求11所述的应答装置，其特征在于，所述应答装置还包括：
停止单元，用于当所述判别器根据所获取的所有正例样本和负例样本进行问题的归属率的判别所得到的判别结果的变化量小于第二预设阈值时，则停止向所述判别器输入从所述应答数据库以及所述干扰数据库中选取的问题集合，并停止向所述生成器输入所述判别器的判别结果。
CN201710115633.0A 2017-02-28 2017-02-28 一种问题的应答方法及装置 Active CN108509463B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710115633.0A CN108509463B (zh) 2017-02-28 2017-02-28 一种问题的应答方法及装置
EP18760453.3A EP3567498A4 (en) 2017-02-28 2018-02-28 METHOD AND DEVICE FOR RESPONSE TO QUESTIONS
PCT/CN2018/077486 WO2018157804A1 (zh) 2017-02-28 2018-02-28 一种问题的应答方法及装置
US16/544,267 US11734319B2 (en) 2017-02-28 2019-08-19 Question answering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710115633.0A CN108509463B (zh) 2017-02-28 2017-02-28 一种问题的应答方法及装置

Publications (2)

Publication Number Publication Date
CN108509463A true CN108509463A (zh) 2018-09-07
CN108509463B CN108509463B (zh) 2022-03-29

Family

ID=63369753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710115633.0A Active CN108509463B (zh) 2017-02-28 2017-02-28 一种问题的应答方法及装置

Country Status (4)

Country Link
US (1) US11734319B2 (zh)
EP (1) EP3567498A4 (zh)
CN (1) CN108509463B (zh)
WO (1) WO2018157804A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492085A (zh) * 2018-11-15 2019-03-19 平安科技（深圳）有限公司 基于数据处理的答案确定方法、装置、终端及存储介质
CN109657038A (zh) * 2018-10-10 2019-04-19 阿里巴巴集团控股有限公司 一种问答对数据的挖掘方法、装置及电子设备
CN109766418A (zh) * 2018-12-13 2019-05-17 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN109783704A (zh) * 2019-01-03 2019-05-21 中国科学院自动化研究所 人机混合的应答方法、系统、装置
CN109871446A (zh) * 2019-01-31 2019-06-11 平安科技（深圳）有限公司 意图识别中的拒识方法、电子装置及存储介质
CN110019685A (zh) * 2019-04-10 2019-07-16 北京神州泰岳软件股份有限公司 基于排序学习的深度文本匹配方法及装置
CN110046235A (zh) * 2019-03-18 2019-07-23 阿里巴巴集团控股有限公司 一种知识库评估方法、装置及设备
CN110088748A (zh) * 2019-03-19 2019-08-02 京东方科技集团股份有限公司 问题生成方法和装置、问诊系统、计算机可读存储介质
CN110362735A (zh) * 2019-07-15 2019-10-22 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN110489730A (zh) * 2019-08-14 2019-11-22 腾讯科技（深圳）有限公司 文本处理方法、装置、终端及存储介质
CN110502620A (zh) * 2019-07-02 2019-11-26 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
CN110532348A (zh) * 2019-09-04 2019-12-03 网易（杭州）网络有限公司 问答对数据的生成方法、装置及电子设备
CN111026855A (zh) * 2019-12-06 2020-04-17 易小博(武汉)科技有限公司 智能客服应答方法、系统以及控制器和介质
CN111177336A (zh) * 2019-11-30 2020-05-19 西安华为技术有限公司 一种确定应答信息的方法和装置
CN111191018A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 对话系统的应答方法和装置、电子设备、智能设备
CN111324703A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 人机对话方法及模拟人声进行人机对话的玩偶
CN111324702A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 人机对话方法及模拟人声进行人机对话的耳麦
CN111597821A (zh) * 2020-05-13 2020-08-28 北京嘀嘀无限科技发展有限公司 一种确定应答概率的方法及装置
CN111883261A (zh) * 2020-07-30 2020-11-03 平安国际智慧城市科技股份有限公司 疫情自查方法、装置、计算机设备及存储介质
CN114692647A (zh) * 2020-12-31 2022-07-01 北京猎户星空科技有限公司 一种数据处理方法、装置、设备及介质
CN117708391A (zh) * 2024-02-05 2024-03-15 天开林源(天津)科技有限责任公司 一种数据处理方法、装置、设备及存储介质
CN114692647B (zh) * 2020-12-31 2024-06-07 北京猎户星空科技有限公司 一种数据处理方法、装置、设备及介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373632B2 (en) 2017-05-10 2022-06-28 Oracle International Corporation Using communicative discourse trees to create a virtual persuasive dialogue
US11960844B2 (en) 2017-05-10 2024-04-16 Oracle International Corporation Discourse parsing using semantic and syntactic relations
US10642835B2 (en) * 2017-08-14 2020-05-05 Sisense Ltd. System and method for increasing accuracy of approximating query results using neural networks
CN117114001A (zh) 2017-09-28 2023-11-24 甲骨文国际公司 基于命名实体的解析和识别确定跨文档的修辞相互关系
US11809825B2 (en) 2017-09-28 2023-11-07 Oracle International Corporation Management of a focused information sharing dialogue based on discourse trees
CN108509411B (zh) * 2017-10-10 2021-05-11 腾讯科技（深圳）有限公司 语义分析方法和装置
US10706846B1 (en) * 2018-01-12 2020-07-07 Amazon Technologies, Inc. Question answering for a voice user interface
US11494667B2 (en) * 2018-01-18 2022-11-08 Google Llc Systems and methods for improved adversarial training of machine-learned models
US11328016B2 (en) 2018-05-09 2022-05-10 Oracle International Corporation Constructing imaginary discourse trees to improve answering convergent questions
US11455494B2 (en) 2018-05-30 2022-09-27 Oracle International Corporation Automated building of expanded datasets for training of autonomous agents
US11921761B2 (en) * 2018-11-02 2024-03-05 Optum, Inc. Method, apparatus and computer program product for improving deep question-answering (QA) applications using feedback from retrieval QA applications
US10853394B2 (en) 2018-11-02 2020-12-01 Optum, Inc. Method, apparatus and computer program product for a hybrid question-answering (QA) system with a question classification model
CN111177328B (zh) * 2018-11-12 2023-04-28 阿里巴巴集团控股有限公司 问答匹配系统和方法及问答处理设备和介质
US20220237637A1 (en) * 2018-12-18 2022-07-28 Meta Platforms, Inc. Systems and methods for real time crowdsourcing
US11189269B2 (en) * 2019-01-15 2021-11-30 International Business Machines Corporation Adversarial training data augmentation for generating related responses
US11093707B2 (en) 2019-01-15 2021-08-17 International Business Machines Corporation Adversarial training data augmentation data for text classifiers
CN111611354B (zh) * 2019-02-26 2023-09-29 北京嘀嘀无限科技发展有限公司 人机对话控制方法、装置、服务器及可读存储介质
US11775770B2 (en) * 2019-05-23 2023-10-03 Capital One Services, Llc Adversarial bootstrapping for multi-turn dialogue model training
CN110377712B (zh) * 2019-07-12 2023-05-16 腾讯科技（深圳）有限公司 一种智能会话切换方法、装置、设备及存储介质
US11556698B2 (en) 2019-10-22 2023-01-17 Oracle International Corporation Augmenting textual explanations with complete discourse trees
CN112837676B (zh) * 2019-11-04 2023-12-01 深圳市优必选科技股份有限公司 一种语句生成方法、语句生成装置及智能设备
US11580298B2 (en) 2019-11-14 2023-02-14 Oracle International Corporation Detecting hypocrisy in text
US11501085B2 (en) 2019-11-20 2022-11-15 Oracle International Corporation Employing abstract meaning representation to lay the last mile towards reading comprehension
US11302323B2 (en) * 2019-11-21 2022-04-12 International Business Machines Corporation Voice response delivery with acceptable interference and attention
US20210201192A1 (en) * 2019-12-30 2021-07-01 42 Maru Inc. Method and apparatus of generating question-answer learning model through reinforcement learning
US11709873B2 (en) * 2020-01-13 2023-07-25 Adobe Inc. Reader-retriever approach for question answering
US11847420B2 (en) 2020-03-05 2023-12-19 Oracle International Corporation Conversational explainability
CN111477247B (zh) * 2020-04-01 2023-08-11 宁波大学 基于gan的语音对抗样本生成方法
CN111783998B (zh) * 2020-06-30 2023-08-11 百度在线网络技术（北京）有限公司 一种违规账号识别模型训练方法、装置及电子设备
CN111782786B (zh) * 2020-07-01 2022-02-15 中关村科学城城市大脑股份有限公司 用于城市大脑的多模型融合问答方法及系统、介质
CN112069815B (zh) * 2020-09-04 2023-01-17 平安科技（深圳）有限公司 成语填空题的答案选择方法、装置和计算机设备
US11520829B2 (en) * 2020-10-21 2022-12-06 International Business Machines Corporation Training a question-answer dialog sytem to avoid adversarial attacks
CN113535911B (zh) * 2020-12-03 2024-04-12 腾讯科技（深圳）有限公司 奖励模型处理方法、电子设备、介质和计算机程序产品
CN112989007B (zh) * 2021-04-20 2021-07-23 平安科技（深圳）有限公司 基于对抗网络的知识库扩展方法、装置及计算机设备
CN113159187A (zh) * 2021-04-23 2021-07-23 北京金山数字娱乐科技有限公司 分类模型训练方法及装置、目标文本确定方法及装置
CN113139043B (zh) * 2021-04-29 2023-08-04 北京百度网讯科技有限公司 问答样本生成方法、装置、电子设备和存储介质
US20230009946A1 (en) * 2021-07-12 2023-01-12 International Business Machines Corporation Generative relation linking for question answering
CN114610853A (zh) * 2022-03-14 2022-06-10 平安科技（深圳）有限公司 一种智能问答的优化方法及装置、存储介质、终端
CN116702208B (zh) * 2023-06-20 2023-11-03 广州嘉磊元新信息科技有限公司 一种提高信息安全性的数据处理方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078891A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
CN103049433A (zh) * 2012-12-11 2013-04-17 微梦创科网络科技（中国）有限公司 自动问答方法、自动问答系统及构建问答实例库的方法
CN103229120A (zh) * 2010-09-28 2013-07-31 国际商业机器公司 使用假设剪枝提供问题答案
US20140006012A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Learning-Based Processing of Natural Language Questions
CN104657346A (zh) * 2015-01-15 2015-05-27 深圳市前海安测信息技术有限公司 智能交互系统中的问题匹配方法和系统
CN105144205A (zh) * 2013-04-29 2015-12-09 西门子公司 用于使用多个所选知识库来回答自然语言问题的设备和方法
CN105528349A (zh) * 2014-09-29 2016-04-27 华为技术有限公司 知识库中问句解析的方法及设备
CN105591882A (zh) * 2015-12-10 2016-05-18 北京中科汇联科技股份有限公司 一种智能机器人与人混合客服的方法及系统
US20170024645A1 (en) * 2015-06-01 2017-01-26 Salesforce.Com, Inc. Dynamic Memory Network

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346701B2 (en) * 2009-01-23 2013-01-01 Microsoft Corporation Answer ranking in community question-answering sites
WO2012047530A1 (en) * 2010-09-28 2012-04-12 International Business Machines Corporation Providing answers to questions using logical synthesis of candidate answers
WO2012097504A1 (en) * 2011-01-18 2012-07-26 Google Inc. Automated answers to online questions
US20130266925A1 (en) * 2012-01-30 2013-10-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Embedded Conversational Agent-Based Kiosk for Automated Interviewing
GB2531720A (en) * 2014-10-27 2016-05-04 Ibm Automatic question generation from natural text
CN104679910A (zh) 2015-03-25 2015-06-03 北京智齿博创科技有限公司 智能应答方法及系统
US10152534B2 (en) * 2015-07-02 2018-12-11 International Business Machines Corporation Monitoring a corpus for changes to previously provided answers to questions
US10755177B1 (en) * 2015-12-31 2020-08-25 Amazon Technologies, Inc. Voice user interface knowledge acquisition system
US20170293620A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Natural language processing based on textual polarity
CN106127702B (zh) * 2016-06-17 2018-08-14 兰州理工大学 一种基于深度学习的图像去雾方法
US10902330B2 (en) * 2016-06-21 2021-01-26 International Business Machines Corporation Cognitive question answering pipeline calibrating
US10769537B2 (en) * 2016-06-21 2020-09-08 International Business Machines Corporation Cognitive question answering pipeline blending

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078891A1 (en) * 2010-09-28 2012-03-29 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
CN103229120A (zh) * 2010-09-28 2013-07-31 国际商业机器公司 使用假设剪枝提供问题答案
US20140006012A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Learning-Based Processing of Natural Language Questions
CN103049433A (zh) * 2012-12-11 2013-04-17 微梦创科网络科技（中国）有限公司 自动问答方法、自动问答系统及构建问答实例库的方法
CN105144205A (zh) * 2013-04-29 2015-12-09 西门子公司 用于使用多个所选知识库来回答自然语言问题的设备和方法
CN105528349A (zh) * 2014-09-29 2016-04-27 华为技术有限公司 知识库中问句解析的方法及设备
CN104657346A (zh) * 2015-01-15 2015-05-27 深圳市前海安测信息技术有限公司 智能交互系统中的问题匹配方法和系统
US20170024645A1 (en) * 2015-06-01 2017-01-26 Salesforce.Com, Inc. Dynamic Memory Network
CN105591882A (zh) * 2015-12-10 2016-05-18 北京中科汇联科技股份有限公司 一种智能机器人与人混合客服的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GOODFELLOW等: "Generative adversarial nets", 《PROCEEDINGS OF THE 2014 CONFERENCE ON ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
LANTAO YU等: "SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient", 《ARXIV》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657038B (zh) * 2018-10-10 2023-04-18 创新先进技术有限公司 一种问答对数据的挖掘方法、装置及电子设备
CN109657038A (zh) * 2018-10-10 2019-04-19 阿里巴巴集团控股有限公司 一种问答对数据的挖掘方法、装置及电子设备
CN109492085A (zh) * 2018-11-15 2019-03-19 平安科技（深圳）有限公司 基于数据处理的答案确定方法、装置、终端及存储介质
CN109492085B (zh) * 2018-11-15 2024-05-14 平安科技（深圳）有限公司 基于数据处理的答案确定方法、装置、终端及存储介质
CN109766418A (zh) * 2018-12-13 2019-05-17 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111324702A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 人机对话方法及模拟人声进行人机对话的耳麦
CN111324703A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 人机对话方法及模拟人声进行人机对话的玩偶
CN109783704A (zh) * 2019-01-03 2019-05-21 中国科学院自动化研究所 人机混合的应答方法、系统、装置
CN109871446A (zh) * 2019-01-31 2019-06-11 平安科技（深圳）有限公司 意图识别中的拒识方法、电子装置及存储介质
WO2020155766A1 (zh) * 2019-01-31 2020-08-06 平安科技（深圳）有限公司 意图识别中的拒识方法、装置、设备及存储介质
CN109871446B (zh) * 2019-01-31 2023-06-06 平安科技（深圳）有限公司 意图识别中的拒识方法、电子装置及存储介质
CN110046235B (zh) * 2019-03-18 2023-06-02 创新先进技术有限公司 一种知识库评估方法、装置及设备
CN110046235A (zh) * 2019-03-18 2019-07-23 阿里巴巴集团控股有限公司 一种知识库评估方法、装置及设备
US11600389B2 (en) 2019-03-19 2023-03-07 Boe Technology Group Co., Ltd. Question generating method and apparatus, inquiring diagnosis system, and computer readable storage medium
CN110088748B (zh) * 2019-03-19 2023-11-14 京东方科技集团股份有限公司 问题生成方法和装置、问诊系统、计算机可读存储介质
CN110088748A (zh) * 2019-03-19 2019-08-02 京东方科技集团股份有限公司 问题生成方法和装置、问诊系统、计算机可读存储介质
CN110019685B (zh) * 2019-04-10 2021-08-20 鼎富智能科技有限公司 基于排序学习的深度文本匹配方法及装置
CN110019685A (zh) * 2019-04-10 2019-07-16 北京神州泰岳软件股份有限公司 基于排序学习的深度文本匹配方法及装置
CN110502620A (zh) * 2019-07-02 2019-11-26 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
CN110502620B (zh) * 2019-07-02 2023-05-30 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
WO2021000400A1 (zh) * 2019-07-02 2021-01-07 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
CN110362735B (zh) * 2019-07-15 2022-05-13 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN110362735A (zh) * 2019-07-15 2019-10-22 北京百度网讯科技有限公司 判断陈述真实性的方法和装置、电子设备、可读介质
CN110489730A (zh) * 2019-08-14 2019-11-22 腾讯科技（深圳）有限公司 文本处理方法、装置、终端及存储介质
CN110532348B (zh) * 2019-09-04 2022-03-22 网易（杭州）网络有限公司 问答对数据的生成方法、装置及电子设备
CN110532348A (zh) * 2019-09-04 2019-12-03 网易（杭州）网络有限公司 问答对数据的生成方法、装置及电子设备
CN111177336B (zh) * 2019-11-30 2023-11-10 西安华为技术有限公司 一种确定应答信息的方法和装置
CN111177336A (zh) * 2019-11-30 2020-05-19 西安华为技术有限公司 一种确定应答信息的方法和装置
CN111026855A (zh) * 2019-12-06 2020-04-17 易小博(武汉)科技有限公司 智能客服应答方法、系统以及控制器和介质
CN111191018A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 对话系统的应答方法和装置、电子设备、智能设备
CN111191018B (zh) * 2019-12-30 2023-10-20 华为技术有限公司 对话系统的应答方法和装置、电子设备、智能设备
CN111597821A (zh) * 2020-05-13 2020-08-28 北京嘀嘀无限科技发展有限公司 一种确定应答概率的方法及装置
CN111883261B (zh) * 2020-07-30 2023-05-02 深圳赛安特技术服务有限公司 疫情自查方法、装置、计算机设备及存储介质
CN111883261A (zh) * 2020-07-30 2020-11-03 平安国际智慧城市科技股份有限公司 疫情自查方法、装置、计算机设备及存储介质
CN114692647A (zh) * 2020-12-31 2022-07-01 北京猎户星空科技有限公司 一种数据处理方法、装置、设备及介质
CN114692647B (zh) * 2020-12-31 2024-06-07 北京猎户星空科技有限公司 一种数据处理方法、装置、设备及介质
CN117708391A (zh) * 2024-02-05 2024-03-15 天开林源(天津)科技有限责任公司 一种数据处理方法、装置、设备及存储介质
CN117708391B (zh) * 2024-02-05 2024-05-17 天开林源(天津)科技有限责任公司 一种数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3567498A1 (en) 2019-11-13
EP3567498A4 (en) 2019-12-04
WO2018157804A1 (zh) 2018-09-07
CN108509463B (zh) 2022-03-29
US20190371299A1 (en) 2019-12-05
US11734319B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
CN108509463A (zh) 一种问题的应答方法及装置
CN111339774B (zh) 文本的实体关系抽取方法和模型训练方法
CN110647904B (zh) 一种基于无标记数据迁移的跨模态检索方法及系统
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN110033022A (zh) 文本的处理方法、装置和存储介质
CN107076567A (zh) 多语言图像问答
CN111753189A (zh) 一种少样本跨模态哈希检索共同表征学习方法
CN108804677A (zh) 结合多层级注意力机制的深度学习问题分类方法及系统
CN106844368A (zh) 用于人机对话的方法、神经网络系统和用户设备
CN112380325B (zh) 基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统
CN106021364A (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN110019732A (zh) 一种智能问答方法以及相关装置
JP7257585B2 (ja) 深層ｃｃａ及び能動ペアワイズクエリを用いるマルチモーダル検索及びクラスタリングのための方法
KR102265573B1 (ko) 인공지능 기반 입시 수학 학습 커리큘럼 재구성 방법 및 시스템
CN109947931A (zh) 基于无监督学习的文本自动摘要方法、系统、设备及介质
CN103942302B (zh) 一种相关反馈间关系网络的构建与应用方法
CN110147421A (zh) 一种目标实体链接方法、装置、设备及存储介质
US20210073628A1 (en) Deep neural network training method and apparatus, and computer device
CN109271546A (zh) 图像检索特征提取模型建立、数据库建立及检索方法
CN108879732A (zh) 电力系统暂态稳定评估方法及装置
CN111539612B (zh) 一种风险分类模型的训练方法和系统
CN115687925A (zh) 针对不平衡样本的故障类型识别方法及装置
CN116805533A (zh) 一种基于数据收集与模拟的脑出血手术风险预测系统
CN114416929A (zh) 实体召回模型的样本生成方法、装置、设备及存储介质
Banerjee et al. Relation extraction using multi-encoder lstm network on a distant supervised dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant