CN110928991A - 一种问答知识库的更新方法及其装置 - Google Patents
一种问答知识库的更新方法及其装置 Download PDFInfo
- Publication number
- CN110928991A CN110928991A CN201911141523.7A CN201911141523A CN110928991A CN 110928991 A CN110928991 A CN 110928991A CN 201911141523 A CN201911141523 A CN 201911141523A CN 110928991 A CN110928991 A CN 110928991A
- Authority
- CN
- China
- Prior art keywords
- question
- questions
- standard
- input
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012360 testing method Methods 0.000 claims description 64
- 230000004044 response Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种问答知识库的更新方法,所述问答知识库包括多个知识点,每一知识点包括一个标准问和与所述标准问关联的多个扩展问,所述更新方法包括:获取输入问题及其对应的期望标准问,所述期望标准问为预设的所述输入问题匹配的标准问;将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问;以及基于每一输入问题对应的期望标准问与定位标准问更新所述问答知识库。
Description
技术领域
本发明涉及智能问答领域,尤其涉及一种问答知识库的更新方法及其装置。
背景技术
人机交互是研究系统与用户之间的交互关系的科学。系统可以是各种各样的机器,也可以是计算机化的系统和软件。例如,通过人机交互可以实现各种人工智能系统,例如,智能客服系统、语音控制系统等等。
智能问答系统是人机交互的一种典型应用,其中当用户提出问题后,智能问答系统给出该问题的答案。为此,智能问答系统中有一套知识库,里面有大量的问题和与每个问题相对应的答案。智能问答系统首先需要识别用户所提出的问题,即从知识库中找到与该用户问题所对应的问题,然后找出与该问题相匹配的答案。
现有技术中,知识库的形成一般是通过从各个具体的人机交互领域获取相关的具体交互日志记录,从该些交互日志中整理、总结、归纳出该人机交互领域的常用知识点以及每个知识点的标准问、扩展问以及答案等等,进而形成该人机交互领域的知识库。从该过程可以看出,现有知识库是通过人工或机器来整理、总结、归纳出所有知识点来形成的,在知识库形成后,研究的侧重点则落点于如何提高用户提出的各种问题与知识库中的知识点的匹配问题,而并未将用户提出的各种问题利用起来以作为更新知识库的材料。
同时,随着相关领域的更新,原有总结出的知识库也存在需要更新的情况,如需要新增、合并或删除原有知识库中的知识点的情况。
为解决上述问题,本发明旨在提出一种问答知识库的更新方法,以期能够利用输入的问题来更新现有的问答知识库,提高问答知识库与相关领域发展的匹配度。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
根据本发明的一方面,提供了一种问答知识库的更新方法,所述问答知识库包括多个知识点,每一知识点包括一个标准问和与所述标准问关联的多个扩展问,所述更新方法包括:获取输入问题及其对应的期望标准问,所述期望标准问为预设的所述输入问题匹配的标准问;将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问;以及基于每一输入问题对应的期望标准问与定位标准问更新所述问答知识库。
更进一步地,所述将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问包括:将每一输入问题与所有标准问关联的多个扩展问进行语义相似度计算;以及响应于一扩展问与一输入问题的相似度最大且大于预设相似度阈值,将所述扩展问作为所述输入问题对应的定位扩展问,所述定位扩展问关联的标准问作为所述输入问题对应的定位标准问。
更进一步地,每一知识点还包括关联的测试样例,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题变更为所述期望标准问或所述定位标准问所属知识点关联的测试样例或扩展问以及判断是否需要将所述输入问题对应的定位扩展问变更为所述期望标准问关联的扩展问;以及响应于确定需要执行任一变更,执行所述确定的变更动作。
更进一步地,所述更新方法还包括:响应于所述输入问题包括多个对应的定位标准问且确定需要将所述输入问题变更为其对应的定位标准问的所属知识点关联的测试样例或扩展问,将所述输入问题变更为被选择的定位标准问所属知识点关联的测试样例或扩展问。
更进一步地,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:响应于任意一输入问题不存在对应的定位标准问,判断是否需要将所述输入问题变更为测试样例或扩展问;以及响应于确定需要变更样例,将所述输入问题变更为其对应的期望标准问或被选择的一标准问所属知识点的测试样例或扩展问。
更进一步地,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:响应于任意一输入问题包括多个对应的定位标准问,判断是否需要将所述输入问题对应的多个定位标准问合并为新标准问;以及响应于确定需要合并标准问,基于所述输入问题对应的多个定位标准问中被选择的若干个定位标准问生成一新知识点以更新所述问答知识库。
更进一步地,所述生成一新知识点包括:基于所述被选择的若干个定位标准问确定所述新知识点对应的标准问;将所述被选择的若干个定位标准问关联的扩展问关联于所述新知识点;以及基于所述被选择的若干个定位标准问所属知识点的答案确定所述新知识点的答案。
更进一步地,所述获取输入问题包括:将所述新知识点对应的标准问关联的若干个扩展问作为所述输入问题;和/或从开放平台导入原始语料以作为所述输入问题;和/或将若干知识点的若干个测试样例作为所述输入问题。
根据本发明的另一个方面,提供了一种问答知识库的更新装置,包括存储器、处理器以及存储在存储器上的计算机程序,所述处理器被用于执行存储在所述存储器上的计算机程序时实现上述任一项所述的更新方法的步骤。
根据本发明的另一个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被执行时实现上述任一项所述的更新方法的步骤。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,更能够更好地理解本发明的上述特征和优点。
图1是根据本发明的一个方面绘示的问答知识库的更新方法的流程示意图;
图2是根据本发明的一个方面绘示的问答知识库的更新方法的部分流程示意图;
图3是根据本发明的一个方面绘示的一人机交互界面的示意图;
图4是根据本发明的一个方面绘示的问答知识库的更新方法的部分流程示意图;
图5是根据本发明的一个方面绘示的一人机交互界面的示意图;
图6是根据本发明的一个方面绘示的问答知识库的更新方法的部分流程示意图;
图7是根据本发明的一个方面绘示的问答知识库的更新方法的部分流程示意图;
图8是根据本发明的一个方面绘示的一人机交互界面的示意图;
图9是根据本发明的一个方面绘示的问答知识库的更新方法的部分流程示意图;
图10是根据本发明的一个方面绘示的问答知识库的更新装置的示意框图。
具体实施方式
给出以下描述以使得本领域技术人员能够实施和使用本发明并将其结合到具体应用背景中。各种变型、以及在不同应用中的各种使用对于本领域技术人员将是容易显见的,并且本文定义的一般性原理可适用于较宽范围的实施例。由此,本发明并不限于本文中给出的实施例,而是应被授予与本文中公开的原理和新颖性特征相一致的最广义的范围。
在以下详细描述中,阐述了许多特定细节以提供对本发明的更透彻理解。然而,对于本领域技术人员显而易见的是,本发明的实践可不必局限于这些具体细节。换言之,公知的结构和器件以框图形式示出而没有详细显示,以避免模糊本发明。
请读者注意与本说明书同时提交的且对公众查阅本说明书开放的所有文件及文献,且所有这样的文件及文献的内容以参考方式并入本文。除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。
注意,在使用到的情况下,标志左、右、前、后、顶、底、正、反、顺时针和逆时针仅仅是出于方便的目的所使用的,而并不暗示任何具体的固定方向。事实上,它们被用于反映对象的各个部分之间的相对位置和/或方向。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
注意,在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
问答知识库中的基本知识点最原始和最简单的形式就是平时常用的FAQ,一般的形式是“问-答”对。在本发明中,“标准问”是用来表示某个知识点的文字,主要目标是表达清晰,便于维护。例如,“彩铃的资费”就是表达清晰的标准问描述。这里的“问”不应被狭义地理解为“询问”,而应广义地来理解一“输入”,该“输入”具有对应的“输出”。例如,对于用于控制系统的语义识别而言,用户的一个指令,例如“打开收音机”也应可以被理解为是一个“问”,此时对应的“答”可以是用于执行相应控制的控制程序的调用。
用户在向机器输入时,最理想的情况是使用标准问,则机器的智能语义识别系统马上能够理解用户的意思。然而,用户往往并非使用的是标准问,而是标准问的一些变形的形式。例如,若对于收音机的电台切换的标准问形式是“换一个电台”,那么用户可能使用的命令是“切换一个电台”,机器也需要能够识别用户表达的是同一个意思。因此,对于智能语义识别而言,问答知识库里需要有标准问的相似问,该相似问与标准问表达形式有略微差异,但是表达相同的含义,该相似问在本领域中对应的专有名词为“扩展问”。
基于上述简单介绍可知,问答知识库包括多个知识点,每个知识点包括一标准问、与标准问关联的多个扩展问以及一个答案。可以理解,标准问本身也可以是扩展问中的一个。
根据本发明的一个方面,提供一种问答知识库的更新方法,用于基于输入问题来更新问答知识库。
在一实施例中,如图1所示,问答知识库的更新方法100包括步骤S110~S130。
其中,步骤S110为:获取输入问题及其对应的期望标准问。
输入问题是指用于匹配问答知识库中的知识点的问题,并不以用户输入的问题为限,可以包括各个开放平台的交互日志中记录的用户提出的问题即原始语料、知识库中存储的标准问和扩展问以及用于测试问答知识库的测试样例等等。
开放平台可以指各个具体应用领域的交互平台如银行交互平台、出入境管理交互平台或酒店预约交互平台等等,还可以是涵盖各种问题的综合性交互平台比如百度或谷歌等搜索平台等等。
期望标准问为预设的输入问题匹配的标准问。该期望标准问可以是人为设定机器设定的输入问题应当匹配的标准问。较优地,该期望标准问可以是人为设定的,即是基于人为理解的输入问题的语义,希望该输入问题匹配到的标准问。
步骤S120为:将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问。
定位标准问是指通过将输入问题与问答知识库中的各个知识点进行匹配,一般可通过输入问题与所有知识点的扩展问的相似度来判断出与输入问题匹配的知识点,该与输入问题匹配的知识点的标准问即是该输入问题的定位标准问。
一般地,在交互平台中输入一个问题,则该交互平台会将该问题与问答知识库中的所有扩展问进行相似度计算以判断出该输入问题对应的知识点,从而将该知识点的答案输出以完成该交互的过程。该过程中,输入的问题匹配出的知识点一般为1个或0个,该1个知识点即是与输入问题的相似度最高且超出相似度最低要求的扩展问对应的知识点,但在进行问答知识库的更新时,可以设置定位标准问的相似度阈值,与输入问题的相似度超出该相似度阈值的知识点均为定位标准问,即匹配出的定位标准问的数量可能不止1个。
步骤S130为:基于每一输入问题对应的期望标准问与定位标准问更新所述问答知识库。
可以理解,当输入问题对应的定位标准问唯一且与该输入问题对应的期望标准问相同时,说明该输入问题对应的知识点唯一。然而,可以想象,当输入问题对应的期望标准问与对应的定位标准问不同或存在多个对应的定位标准问时,说明该输入问题对应的知识点不唯一,至少基于现有的知识点的匹配方法匹配出的知识点不唯一。则可基于该输入问题的实际匹配知识点、期望标准问以及若干标准问的之间的相互关系来更新问答知识库,以至少使得该输入问题匹配的知识点唯一。
进一步地,为获得输入问题对应的定位标准问,如图2所示,步骤S120可包括步骤S121~S122。
其中,步骤S121为:将每一输入问题与所有标准问关联的多个扩展问进行语义相似度计算。
此处的语义相似度是指输入问题与问答知识库中的扩展问基于字与词语上的匹配程度和/或语义上的符合程度。具体的相似度计算方法可以采用以下一种或多种方式的结合:基于空间向量空间模型(Vector Space Model,VSM)的计算方法、基于隐形语义索引模型(Latent Semantic Indexing,LSI)的计算方法、基于属性论的语义相似度计算方法或基于汉明距离的语义相似度计算方法。本领域的技术人员可以理解,该相似度计算方法还可以是其它语义相似度计算方法或与其它语义相似度计算方法的结合。
步骤S122为:响应于一扩展问与一输入问题的相似度最大且大于预设相似度阈值,将所述扩展问作为所述输入问题对应的定位扩展问,所述定位扩展问关联的标准问作为所述输入问题对应的定位标准问。
可以理解,与该输入问题的相似度最大的扩展问是与该输入问题的语义最相近的扩展问,若该语义最相近的扩展问与输入问题的相似度超出预设相似度阈值比如相似度超出90%则可判断该二者表达的语义相同,该语义最相近的扩展问即为该输入问题的定位扩展问,该定位扩展问所属的知识点为该输入问题对应的知识点,该对应的知识点的标准问为该输入问题的定位标准问。
可以理解,如上所述,假设与输入问题的相似度最大的扩展问存在多个,且该最大的相似度值超出预设相似度阈值,则该输入问题可能存在多个定位标准问。或者,可设置不同的相似度比较精度,当设置的比较精度小于计算精度时,显然输入问题可能存在多个匹配结果。比如设置计算精度为±0.1%,比较精度为±1%,则与输入问题的计算相似度处于91.5%~92.4%之间的扩展问与该输入问题的比较相似度均为92%,假设所有扩展问与输入问题的最大比较相似度为92%,则与输入问题的计算相似度处于91.5%~92.4%之间的扩展问均可认为是该输入问题的定位标准问。
可以理解,当问答知识库中确实存在两个或以上的知识点可与输入问题匹配成功时,则说明对于该输入问题而言,问答知识库中的答案是不唯一的,该种情况显然是不合理的,因此需要对问答知识库进行优化。
较优地,可将输入问题、对应的期望标准问、对应的定位标准问以及定位扩展问在人机交互界面上进行显示,如图3中的人机交互界面所示,定位标准问的栏目数量可基于输入问题匹配出的定位标准问的数量对应地显示。
可选择地,可设置图3所示的人机交互界面中设置预设数目的定位标准问栏,依次显示与输入问题的相似度最高的预设数目的定位扩展问关联的定位标准问,即无需进行比较精度的设置。可以理解,该显示出的预设数目的定位扩展问与输入问题的相似度仍需超出预设相似度阈值。
对应地,如图4所示,步骤S130包括步骤S131~S132。
步骤S131为:响应于任意一输入问题包括多个对应的定位标准问,判断是否需要将所述输入问题对应的多个定位标准问合并为新标准问。
可以理解,当同一个输入问题可以包括多个对应的定位标准问时,说明该多个对应的定位标准问之间区分度不高,问答知识库中将该多个定位标准问所属的知识点划分过细或随着业务发展该多个定位标准问对应的答案已经相同等等,此时可通过人为或机器学习等方式来判断是否需要将该输入问题对应的多个定位标准问合并为新标准问。
具体地,判断结果可能存在需要合并所有定位标准问、需要合并部分定位标准问或是不需要合并等。
针对需要合并所有或部分定位标准问,可执行下述步骤S132。
步骤S132为:响应于确定需要合并标准问,基于所述输入问题对应的多个定位标准问中被选择的若干个定位标准问生成一新知识点以更新所述问答知识库。
具体地,可在人机交互界面中勾选存在多个定位标准问的输入问题并点击合并以进入合并标准问的子界面。具体地,可如图5所示,选择该多个对应的标准问中的两个或两个以上以进行合并。合并标准问即是将被选择的若干个定位标准问所属的若干个知识点进行合并以形成一个新的知识点,该新的知识点的标准问、扩展问和答案可来源于被合并的若干个定位标准问及其关联的多个扩展问和对应的答案。
较优地,如图6所示,步骤S132可包括步骤S610~S630。
步骤S610为:基于被选择的若干个定位标准问确定所述新知识点对应的标准问。
可以理解,该新知识点对应的标准问可以是从该若干个定位标准问中选择出其中一个以作为新知识点的标准问,也可以是基于该若干个定位标准问的内容另行撰写的标准问。
步骤S620为:将所述被选择的若干个定位标准问关联的扩展问关联于所述新知识点。
一般而言,若干个定位标准问关联的扩展问可直接确定为新知识点的扩展问,但为避免扩展问的重复,也可进一步将该若干个定位标准问关联的扩展问进行表达式的合并从而生成更加简洁的扩展问的表达式。可以理解,一个知识点可能存在数量较多的扩展问,在图5所示的合并标准问的人机交互子界面中,难以将所有的扩展问均显示出来,同时对于新的知识点而言,一般是将所有被选择的标准问的扩展问均设置为新知识点的扩展问,因此可在确定时直接进行后台数据的操作,无需在人机交互子界面中显示。
步骤S630为:基于所述被选择的若干个定位标准问所属知识点的答案确定所述新知识点的答案。
一般而言,当若干个定位标准问可以合并时,该若干个定位标准问所属知识点的答案一般也相近似,在此基础上可选择其中一个答案作为新知识点的答案,或是基于该若干个知识点的答案内容另行撰写新的上位答案。
进一步地,合并子界面还可包括确认或保存按钮以便于将生成或编辑过的合并结果保存以生成问答知识库中的新知识点,同时还可删除该若干个定位标准问所属的知识点。
较优地,为测试问答知识库的匹配能力,通常会为每个知识点设置若干测试样例,该些测试样例通常是相互之间语义相同但相似度较小的语句或表达式,可以是较为特殊的表达,可以属于该知识点的扩展问也可以不属于该知识点的扩展问。当一知识点的测试样例经过匹配均可与该知识点的标准问匹配成功则可侧面证明问答知识库的匹配能力。
如图3中的输入问题2所示,输入问题也可能存在无法成功匹配扩展问的情况,此时可进行人为判定,即判断该输入问题是否可以匹配到问答知识库中的其中一个知识点,若可以匹配到某一知识点,则可说明该输入问题是该知识点的一种特殊的问题表达,因此可将其设置为该知识点的测试样例,同时可加入该知识点的扩展问中以提高该知识点的可匹配度。
对应地,如图7所示,步骤S130还可包括步骤S133~S134。
步骤S133为:响应于任意一输入问题不存在对应的定位标准问,判断是否需要将所述输入问题变更为测试样例或扩展问。
可以理解,当输入问题与所有扩展问的相似度均低于预设相似度阈值时,该输入问题即不存在对应的定位标准问,则此时可人为或是采用其它匹配算法来对该输入问题进行识别以判断出该输入问题可匹配的知识点。当可与该输入问题匹配的知识点时,可在人机交互界面上显示出“变更测试样例”及“变更扩展问”的选项。以变更测试样例子界面为例,如图8所示,可选变更对象至少包括期望标准问,还可包括人为确定的或是采用其它匹配算法确定的与该输入问题匹配的标准问。变更扩展问的子界面与变更测试样例子界面类似,不再赘述。
虽然前述定义期望标准问为输入问题应当匹配的标准问,因此在变更时理所当然地可认为该输入问题应当变更为其期望标准问的测试样例或扩展问,然而为输入问题设定其应当匹配的期望标准问是较为复杂的过程,费时费力,因此在一些情况下,为简化该设定过程,可通过机器随意为输入问题设定期望标准问,即输入问题获得的期望标准问并不是该输入问题应当匹配的标准问,甚至二者在文字或语义上均不相同或相似。因此可能存在期望标准问并非是输入问题应当匹配的标准问的情况,此时可通过人为确定或其它匹配算法来确定该输入问题应当匹配的标准问。
步骤S134为:响应于确定需要变更样例或扩展问,将所述输入问题变更为其对应的期望标准问或被选择的一标准问所属知识点的测试样例或扩展问。
首先通过人为选择来确定该输入问题应当变更为测试样例或是扩展问进入相关子界面,再在子界面上进一步选择期望标准问与若干定位标准问中的一者,点击确认或保存后,将该输入问题增添到被勾选的标准问所属知识点的测试样例或扩展问中。由于测试样例和扩展问的可重叠特性,对于该输入问题可既变更为被选择的标准问所属知识点的测试样例,又变更为被选择的标准问所属知识点的扩展问。
可以理解,当输入问题不存在定位标准问时,也可能是因为问答知识库中缺失该知识点,因此步骤S130还可包括:响应于任意一输入问题不存在对应的定位标准问,判断是否需要新增一知识点;以及响应于判断需要新增一知识点,基于该输入问题形成一新知识点。
较为简单地,该新知识点的标准问可设置成该输入问题,扩展问也可设置成该输入问题,答案可通过人为编辑来输入。从而达到了为问答知识库查缺补漏的效果。可以理解,当确定出问答知识库缺失的知识点后,可通过针对性的添加来进一步地设置合适的标准问以及增加扩展问。
进一步地,如图3中的问题1所示,输入问题的定位标准问与其对应的期望标准问不同,此时需要经过其它手段确定该输入问题应当对应的标准问,并进一步判断是否需要将该输入问题变更为应当对应的知识点的测试样例或扩展问。
对应地,如图9所示,步骤S130还可包括步骤S135~S136。
步骤S135为:响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题变更为所述期望标准问或所述定位标准问所属知识点关联的测试样例或扩展问。
可以理解,当输入问题的期望标准问与定位标准问不同时,首先确定该输入问题应当匹配的标准问,即该输入问题可能应当与期望标准问或定位标准问匹配。定义该输入问题实际应当匹配的标准问为匹配标准问,可以理解,匹配标准问即是被确定的期望标准问或定位标准问。再进一步确认是否需要将该输入问题变更为其匹配标准问所属知识点关联的测试样例或扩展问。
步骤S136为:响应于确定需要执行任一变更,执行所述确定的变更动作。
响应于确定需要变更测试样例或扩展问,则将该输入问题变更成匹配标准问的测试样例或扩展问。具体的变更测试样例或扩展问的子界面如图8所示,其中备选标准问即是各个定位标准问,被勾选的期望标准问或定位标准问即是匹配标准问,具体变更过程不再赘述。
更进一步地,输入问题与定位标准问的匹配是基于定位扩展问来确定的,因此当输入问题的期望标准问与定位标准问不同时,可能存在输入问题应当与期望标准问对应,但定位扩展问也确实与输入问题的语义相同,此时可能存在需要将定位标准问中的该定位扩展问变更成该期望标准问的扩展问的需求。因此,步骤S135还可包括:响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题对应的定位扩展问变更为所述期望标准问关联的扩展问。
对应地,步骤S136可具化为:响应于确定需要将输入问题对应的定位扩展问变更为该期望标准问关联的扩展问,执行该变更。
可以理解,是否需要变更可以是通过人为确定,可以是分别计算定位扩展问与定位标准问的其它扩展问、期望标准问的所有扩展问的相似度情况来判断该定位扩展问应当关联的标准问即其应当所属的知识点。
进一步较优地,一般可从各个开放平台导入原始语料来作为输入问题。当基于原始语料的更新过程结束后,可能存在新增知识点或新增测试样例等更新结果,此时可基于更新后的结果进一步执行更新过程,此时可选择新增知识点中的所有或部分扩展问作为输入问题来执行更新过程,和/或选择全部或部分知识点的全部或部分测试样例作为输入问题来执行更新过程。
尽管为使解释简单化将上述方法图示并描述为一系列动作,但是应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
根据本发明的另一个方面,提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被执行时实现上述任一实施例中的问答知识库的更新方法的步骤。
根据本发明的又一个方面,提供了一种问答知识库的更新装置,用于基于输入问题来更新问答知识库。
在一实施例中,如图10所示,问答知识库的更新装置1000包括存储器1010和处理器1020。
存储器1010用于存储计算机程序。
处理器1020与存储器1010耦接以执行存储器1010上存储的计算机程序。该处理器1020被配置成:获取输入问题及其对应的期望标准问;将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问;以及基于每一输入问题对应的期望标准问与定位标准问更新所述问答知识库。
输入问题是指用于匹配问答知识库中的知识点的问题,并不以用户输入的问题为限,可以包括各个开放平台的交互日志中记录的用户提出的问题即原始语料、知识库中存储的标准问和扩展问以及用于测试问答知识库的测试样例等等。
开放平台可以指各个具体应用领域的交互平台如银行交互平台、出入境管理交互平台或酒店预约交互平台等等,还可以是涵盖各种问题的综合性交互平台比如百度或谷歌等搜索平台等等。
期望标准问为预设的输入问题匹配的标准问。该期望标准问可以是人为设定机器设定的输入问题应当匹配的标准问。较优地,该期望标准问可以是人为设定的,即是基于人为理解的输入问题的语义,希望该输入问题匹配到的标准问。
定位标准问是指通过将输入问题与问答知识库中的各个知识点进行匹配,一般可通过输入问题与所有知识点的扩展问的相似度来判断出与输入问题匹配的知识点,该与输入问题匹配的知识点的标准问即是该输入问题的定位标准问。
一般地,在交互平台中输入一个问题,则该交互平台会将该问题与问答知识库中的所有扩展问进行相似度计算以判断出该输入问题对应的知识点,从而将该知识点的答案输出以完成该交互的过程。该过程中,输入的问题匹配出的知识点一般为1个或0个,该1个知识点即是与输入问题的相似度最高且超出相似度最低要求的扩展问对应的知识点,但在进行问答知识库的更新时,可以设置定位标准问的相似度阈值,与输入问题的相似度超出该相似度阈值的知识点均为定位标准问,即匹配出的定位标准问的数量可能不止1个。
可以理解,当输入问题对应的定位标准问唯一且与该输入问题对应的期望标准问相同时,说明该输入问题对应的知识点唯一。然而,可以想象,当输入问题对应的期望标准问与对应的定位标准问不同或存在多个对应的定位标准问时,说明该输入问题对应的知识点不唯一,至少基于现有的知识点的匹配方法匹配出的知识点不唯一。则可基于该输入问题的实际匹配知识点、期望标准问以及若干标准问的之间的相互关系来更新问答知识库,以至少使得该输入问题匹配的知识点唯一。
进一步地,为获得输入问题对应的定位标准问,处理器1020进一步被配置成:将每一输入问题与所有标准问关联的多个扩展问进行语义相似度计算;响应于一扩展问与一输入问题的相似度最大且大于预设相似度阈值,将所述扩展问作为所述输入问题对应的定位扩展问,所述定位扩展问关联的标准问作为所述输入问题对应的定位标准问。
此处的语义相似度是指输入问题与问答知识库中的扩展问基于字与词语上的匹配程度和/或语义上的符合程度。具体的相似度计算方法可以采用以下一种或多种方式的结合:基于空间向量空间模型(Vector Space Model,VSM)的计算方法、基于隐形语义索引模型(Latent Semantic Indexing,LSI)的计算方法、基于属性论的语义相似度计算方法或基于汉明距离的语义相似度计算方法。本领域的技术人员可以理解,该相似度计算方法还可以是其它语义相似度计算方法或与其它语义相似度计算方法的结合。
可以理解,与该输入问题的相似度最大的扩展问是与该输入问题的语义最相近的扩展问,若该语义最相近的扩展问与输入问题的相似度超出预设相似度阈值比如相似度超出90%则可判断该二者表达的语义相同,该语义最相近的扩展问即为该输入问题的定位扩展问,该定位扩展问所属的知识点为该输入问题对应的知识点,该对应的知识点的标准问为该输入问题的定位标准问。
可以理解,如上所述,假设与输入问题的相似度最大的扩展问存在多个,且该最大的相似度值超出预设相似度阈值,则该输入问题可能存在多个定位标准问。或者,可设置不同的相似度比较精度,当设置的比较精度小于计算精度时,显然输入问题可能存在多个匹配结果。比如设置计算精度为±0.1%,比较精度为±1%,则与输入问题的计算相似度处于91.5%~92.4%之间的扩展问与该输入问题的比较相似度均为92%,假设所有扩展问与输入问题的最大比较相似度为92%,则与输入问题的计算相似度处于91.5%~92.4%之间的扩展问均可认为是该输入问题的定位标准问。
可以理解,当问答知识库中确实存在两个或以上的知识点可与输入问题匹配成功时,则说明对于该输入问题而言,问答知识库中的答案是不唯一的,该种情况显然是不合理的,因此需要对问答知识库进行优化。
较优地,更新装置1000还可包括人机交互界面(未示出),处理器1020可控制输入问题、对应的期望标准问、对应的定位标准问以及定位扩展问显示在人机交互界面上。如图3中的人机交互界面所示,定位标准问的栏目数量可基于输入问题匹配出的定位标准问的数量对应地设置。
可选择地,处理器1020还可设置图3所示的人机交互界面中设置预设数目的定位标准问栏,依次显示与输入问题的相似度最高的预设数目的定位扩展问关联的定位标准问,即无需进行比较精度的设置。可以理解,该显示出的预设数目的定位扩展问与输入问题的相似度仍需超出预设相似度阈值。
对应地,为实现问答知识库的更新,处理器1020可进一步被配置成:响应于任意一输入问题包括多个对应的定位标准问,判断是否需要将所述输入问题对应的多个定位标准问合并为新标准问;以及响应于确定需要合并标准问,基于所述输入问题对应的多个定位标准问中被选择的若干个定位标准问生成一新知识点以更新所述问答知识库。
可以理解,当同一个输入问题可以包括多个对应的定位标准问时,说明该多个对应的定位标准问之间区分度不高,问答知识库中将该多个定位标准问所属的知识点划分过细或随着业务发展该多个定位标准问对应的答案已经相同等等,此时可通过人为或机器学习等方式来判断是否需要将该输入问题对应的多个定位标准问合并为新标准问。
具体地,判断结果可能存在需要合并所有定位标准问、需要合并部分定位标准问或是不需要合并等。
具体地,可在人机交互界面中勾选存在多个定位标准问的输入问题并点击合并以进入合并标准问的子界面。具体地,可如图5所示,选择该多个对应的标准问中的两个或两个以上以进行合并。合并标准问即是将被选择的若干个定位标准问所属的若干个知识点进行合并以形成一个新的知识点,该新的知识点的标准问、扩展问和答案可来源于被合并的若干个定位标准问及其关联的多个扩展问和对应的答案。
较优地,为生成新知识点的标准问、扩展问以及答案,处理器1020还可被配置成:基于被选择的若干个定位标准问确定所述新知识点对应的标准问;将所述被选择的若干个定位标准问关联的扩展问关联于所述新知识点;基于所述被选择的若干个定位标准问所属知识点的答案确定所述新知识点的答案。
可以理解,该新知识点对应的标准问可以是从该若干个定位标准问中选择出其中一个以作为新知识点的标准问,也可以是基于该若干个定位标准问的内容另行撰写的标准问。
一般而言,若干个定位标准问关联的扩展问可直接确定为新知识点的扩展问,但为避免扩展问的重复,也可进一步将该若干个定位标准问关联的扩展问进行表达式的合并从而生成更加简洁的扩展问的表达式。可以理解,一个知识点可能存在数量较多的扩展问,在图5所示的合并标准问的人机交互子界面中,难以将所有的扩展问均显示出来,同时对于新的知识点而言,一般是将所有被选择的标准问的扩展问均设置为新知识点的扩展问,因此可在确定时直接进行后台数据的操作,无需在人机交互子界面中显示。
一般而言,当若干个定位标准问可以合并时,该若干个定位标准问所属知识点的答案一般也相近似,在此基础上可选择其中一个答案作为新知识点的答案,或是基于该若干个知识点的答案内容另行撰写新的上位答案。
进一步地,合并子界面还可包括确认或保存按钮以便于将生成或编辑过的合并结果保存以生成问答知识库中的新知识点,同时还可删除该若干个定位标准问所属的知识点。
较优地,为测试问答知识库的匹配能力,通常会为每个知识点设置若干测试样例,该些测试样例通常是相互之间语义相同但相似度较小的语句或表达式,可以是较为特殊的表达,可以属于该知识点的扩展问也可以不属于该知识点的扩展问。当一知识点的测试样例经过匹配均可与该知识点的标准问匹配成功则可侧面证明问答知识库的匹配能力。
如图3中的输入问题2所示,输入问题也可能存在无法成功匹配扩展问的情况,此时可进行人为判定,即判断该输入问题是否可以匹配到问答知识库中的其中一个知识点,若可以匹配到某一知识点,则可说明该输入问题是该知识点的一种特殊的问题表达,因此可将其设置为该知识点的测试样例,同时可加入该知识点的扩展问中以提高该知识点的可匹配度。
对应地,处理器1020可被配置成:响应于任意一输入问题不存在对应的定位标准问,判断是否需要将所述输入问题变更为测试样例或扩展问;响应于确定需要变更样例或扩展问,将所述输入问题变更为其对应的期望标准问或被选择的一标准问所属知识点的测试样例或扩展问。
可以理解,当输入问题与所有扩展问的相似度均低于预设相似度阈值时,该输入问题即不存在对应的定位标准问,则此时可人为或是采用其它匹配算法来对该输入问题进行识别以判断出该输入问题可匹配的知识点。当可与该输入问题匹配的知识点时,可在人机交互界面上显示出“变更测试样例”及“变更扩展问”的选项。以变更测试样例子界面为例,如图8所示,可选变更对象至少包括期望标准问,还可包括人为确定的或是采用其它匹配算法确定的与该输入问题匹配的标准问。变更扩展问的子界面与变更测试样例子界面类似,不再赘述。
虽然前述定义期望标准问为输入问题应当匹配的标准问,因此在变更时理所当然地可认为该输入问题应当变更为其期望标准问的测试样例或扩展问,然而为输入问题设定其应当匹配的期望标准问是较为复杂的过程,费时费力,因此在一些情况下,为简化该设定过程,可通过机器随意为输入问题设定期望标准问,即输入问题获得的期望标准问并不是该输入问题应当匹配的标准问,甚至二者在文字或语义上均不相同或相似。因此可能存在期望标准问并非是输入问题应当匹配的标准问的情况,此时可通过人为确定或其它匹配算法来确定该输入问题应当匹配的标准问。
在变更时,首先通过人为选择来确定该输入问题应当变更为测试样例或是扩展问进入相关子界面,再在子界面上进一步选择期望标准问与若干定位标准问中的一者,点击确认或保存后,将该输入问题增添到被勾选的标准问所属知识点的测试样例或扩展问中。由于测试样例和扩展问的可重叠特性,对于该输入问题可既变更为被选择的标准问所属知识点的测试样例,又变更为被选择的标准问所属知识点的扩展问。
可以理解,当输入问题不存在定位标准问时,也可能是因为问答知识库中缺失该知识点,因此,处理器1020还可被配置成:响应于任意一输入问题不存在对应的定位标准问,判断是否需要新增一知识点;以及响应于判断需要新增一知识点,基于该输入问题形成一新知识点。
较为简单地,该新知识点的标准问可设置成该输入问题,扩展问也可设置成该输入问题,答案可通过人为编辑来输入。从而达到了为问答知识库查缺补漏的效果。可以理解,当确定出问答知识库缺失的知识点后,可通过针对性的添加来进一步地设置合适的标准问以及增加扩展问。
进一步地,如图3中的问题1所示,输入问题的定位标准问与其对应的期望标准问不同,此时需要经过其它手段确定该输入问题应当对应的标准问,并进一步判断是否需要将该输入问题变更为应当对应的知识点的测试样例或扩展问。
对应地,处理器1020还可被配置成:响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题变更为所述期望标准问或所述定位标准问所属知识点关联的测试样例或扩展问;以及响应于确定需要执行任一变更,执行所述确定的变更动作。
可以理解,当输入问题的期望标准问与定位标准问不同时,首先确定该输入问题应当匹配的标准问,即该输入问题可能应当与期望标准问或定位标准问匹配。定义该输入问题实际应当匹配的标准问为匹配标准问,可以理解,匹配标准问即是被确定的期望标准问或定位标准问。再进一步确认是否需要将该输入问题变更为其匹配标准问所属知识点关联的测试样例或扩展问。
响应于确定需要变更测试样例或扩展问,则将该输入问题变更成匹配标准问的测试样例或扩展问。具体的变更测试样例或扩展问的子界面如图8所示,其中备选标准问即是各个定位标准问,被勾选的期望标准问或定位标准问即是匹配标准问,具体变更过程不再赘述。
更进一步地,输入问题与定位标准问的匹配是基于定位扩展问来确定的,因此当输入问题的期望标准问与定位标准问不同时,可能存在输入问题应当与期望标准问对应,但定位扩展问也确实与输入问题的语义相同,此时可能存在需要将定位标准问中的该定位扩展问变更成该期望标准问的扩展问的需求。因此,处理器1020还可被配置成:响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题对应的定位扩展问变更为所述期望标准问关联的扩展问。
对应地,处理器1020可具体被配置成:响应于确定需要将输入问题对应的定位扩展问变更为该期望标准问关联的扩展问,执行该变更。
可以理解,是否需要变更可以是通过人为确定,可以是分别计算定位扩展问与定位标准问的其它扩展问、期望标准问的所有扩展问的相似度情况来判断该定位扩展问应当关联的标准问即其应当所属的知识点。
进一步较优地,一般可从各个开放平台导入原始语料来作为输入问题。当基于原始语料的更新过程结束后,可能存在新增知识点或新增测试样例等更新结果,此时可基于更新后的结果进一步执行更新过程,此时可选择新增知识点中的所有或部分扩展问作为输入问题来执行更新过程,和/或选择全部或部分知识点的全部或部分测试样例作为输入问题来执行更新过程。
本领域技术人员将可理解,信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如,以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供之前的描述是为了使本领域中的任何技术人员均能够实践本文中所描述的各种方面。但是应该理解,本发明的保护范围应当以所附权利要求书为准,而不应被限定于以上所解说实施例的具体结构和组件。本领域技术人员在本发明的精神和范围内,可以对各实施例进行各种变动和修改,这些变动和修改也落在本发明的保护范围之内。
Claims (10)
1.一种问答知识库的更新方法,所述问答知识库包括多个知识点,每一知识点包括一个标准问和与所述标准问关联的多个扩展问,所述更新方法包括:
获取输入问题及其对应的期望标准问,所述期望标准问为预设的所述输入问题匹配的标准问;
将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问;以及
基于每一输入问题对应的期望标准问与定位标准问更新所述问答知识库。
2.如权利要求1所述的更新方法,其特征在于,所述将每一输入问题与所有标准问进行匹配以获得所述输入问题对应的定位标准问包括:
将每一输入问题与所有标准问关联的多个扩展问进行语义相似度计算;以及
响应于一扩展问与一输入问题的相似度最大且大于预设相似度阈值,将所述扩展问作为所述输入问题对应的定位扩展问,所述定位扩展问关联的标准问作为所述输入问题对应的定位标准问。
3.如权利要求2所述的更新方法,其特征在于,每一知识点还包括关联的测试样例,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:
响应于任意一输入问题对应的期望标准问与定位标准问不同,判断是否需要将所述输入问题变更为所述期望标准问或所述定位标准问所属知识点关联的测试样例或扩展问以及判断是否需要将所述输入问题对应的定位扩展问变更为所述期望标准问关联的扩展问;以及
响应于确定需要执行任一变更,执行所述确定的变更动作。
4.如权利要求3所述的更新方法,其特征在于,还包括:
响应于所述输入问题包括多个对应的定位标准问且确定需要将所述输入问题变更为其对应的定位标准问的所属知识点关联的测试样例或扩展问,将所述输入问题变更为被选择的定位标准问所属知识点关联的测试样例或扩展问。
5.如权利要求1所述的更新方法,其特征在于,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:
响应于任意一输入问题不存在对应的定位标准问,判断是否需要将所述输入问题变更为测试样例或扩展问;以及
响应于确定需要变更样例,将所述输入问题变更为其对应的期望标准问或被选择的一标准问所属知识点的测试样例或扩展问。
6.如权利要求1所述的更新方法,其特征在于,所述基于每一输入问题对应的期望标准问与定位标准问更新问答知识库包括:
响应于任意一输入问题包括多个对应的定位标准问,判断是否需要将所述输入问题对应的多个定位标准问合并为新标准问;以及
响应于确定需要合并标准问,基于所述输入问题对应的多个定位标准问中被选择的若干个定位标准问生成一新知识点以更新所述问答知识库。
7.如权利要求6所述的更新方法,其特征在于,所述生成一新知识点包括:
基于所述被选择的若干个定位标准问确定所述新知识点对应的标准问;
将所述被选择的若干个定位标准问关联的扩展问关联于所述新知识点;以及
基于所述被选择的若干个定位标准问所属知识点的答案确定所述新知识点的答案。
8.如权利要求1所述的更新方法,其特征在于,所述获取输入问题包括:
将所述新知识点对应的标准问关联的若干个扩展问作为所述输入问题;和/或
从开放平台导入原始语料以作为所述输入问题;和/或
将若干知识点的若干个测试样例作为所述输入问题。
9.一种问答知识库的更新装置,包括存储器、处理器以及存储在存储器上的计算机程序,其特征在于,所述处理器被用于执行存储在所述存储器上的计算机程序时实现如权利要求1~8中任一项所述的更新方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-8中任一项所述更新方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911141523.7A CN110928991A (zh) | 2019-11-20 | 2019-11-20 | 一种问答知识库的更新方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911141523.7A CN110928991A (zh) | 2019-11-20 | 2019-11-20 | 一种问答知识库的更新方法及其装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110928991A true CN110928991A (zh) | 2020-03-27 |
Family
ID=69850469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911141523.7A Pending CN110928991A (zh) | 2019-11-20 | 2019-11-20 | 一种问答知识库的更新方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110928991A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897936A (zh) * | 2020-08-05 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 一种问答系统的召回准确度的评测方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105677783A (zh) * | 2015-12-31 | 2016-06-15 | 上海智臻智能网络科技股份有限公司 | 智能问答系统的信息处理方法及装置 |
CN106295807A (zh) * | 2016-08-23 | 2017-01-04 | 上海智臻智能网络科技股份有限公司 | 一种信息处理的方法及装置 |
CN106599317A (zh) * | 2016-12-30 | 2017-04-26 | 上海智臻智能网络科技股份有限公司 | 问答系统的测试数据处理方法、装置及终端 |
CN107329967A (zh) * | 2017-05-12 | 2017-11-07 | 北京邮电大学 | 基于深度学习的问答系统以及方法 |
US20180357219A1 (en) * | 2017-06-12 | 2018-12-13 | Shanghai Xiaoi Robot Technology Co., Ltd. | Semantic expression generation method and apparatus |
-
2019
- 2019-11-20 CN CN201911141523.7A patent/CN110928991A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105677783A (zh) * | 2015-12-31 | 2016-06-15 | 上海智臻智能网络科技股份有限公司 | 智能问答系统的信息处理方法及装置 |
CN106295807A (zh) * | 2016-08-23 | 2017-01-04 | 上海智臻智能网络科技股份有限公司 | 一种信息处理的方法及装置 |
CN106599317A (zh) * | 2016-12-30 | 2017-04-26 | 上海智臻智能网络科技股份有限公司 | 问答系统的测试数据处理方法、装置及终端 |
CN107329967A (zh) * | 2017-05-12 | 2017-11-07 | 北京邮电大学 | 基于深度学习的问答系统以及方法 |
US20180357219A1 (en) * | 2017-06-12 | 2018-12-13 | Shanghai Xiaoi Robot Technology Co., Ltd. | Semantic expression generation method and apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897936A (zh) * | 2020-08-05 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 一种问答系统的召回准确度的评测方法、装置及设备 |
CN111897936B (zh) * | 2020-08-05 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 一种问答系统的召回准确度的评测方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799574B2 (ja) | 音声対話の満足度の確定方法及び装置 | |
CN107329967B (zh) | 基于深度学习的问答系统以及方法 | |
CN106534548B (zh) | 语音纠错方法和装置 | |
CN107797984B (zh) | 智能交互方法、设备及存储介质 | |
US9582757B1 (en) | Scalable curation system | |
CN107785018B (zh) | 多轮交互语义理解方法和装置 | |
CN103635963B (zh) | 语言模型的跨语种初始化 | |
CN110164435A (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
CN110415679A (zh) | 语音纠错方法、装置、设备和存储介质 | |
CN109360550A (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
CN103425640A (zh) | 一种多媒体问答系统及方法 | |
CN104573099A (zh) | 题目的搜索方法及装置 | |
JP2023076413A (ja) | 言語モデルを利用してドメインに特化した対話を提供する方法、コンピュータ装置、およびコンピュータプログラム | |
CN106202056B (zh) | 中文分词场景库更新方法和系统 | |
CN111382235A (zh) | 一种问答知识库的优化方法及其装置 | |
CN106486120A (zh) | 交互式语音应答方法及应答系统 | |
US10089898B2 (en) | Information processing device, control method therefor, and computer program | |
WO2020135462A1 (zh) | 一种自动泛化方法及其装置 | |
CN106649253A (zh) | 基于后验证的辅助控制方法及系统 | |
CN107943940A (zh) | 数据处理方法、介质、系统和电子设备 | |
CN105677636A (zh) | 智能问答系统的信息处理方法及信息处理装置 | |
WO2023236253A1 (zh) | 文档检索方法、装置及电子设备 | |
CN116738250A (zh) | 提示文本扩展方法、装置、电子设备和存储介质 | |
CN115509485A (zh) | 一种业务表单的填写方法、装置、电子设备和存储介质 | |
CN111553138A (zh) | 用于规范内容结构文档的辅助写作方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |
|
RJ01 | Rejection of invention patent application after publication |