CN106599312B - 知识库的检验方法、装置及终端 - Google Patents
知识库的检验方法、装置及终端 Download PDFInfo
- Publication number
- CN106599312B CN106599312B CN201611251929.7A CN201611251929A CN106599312B CN 106599312 B CN106599312 B CN 106599312B CN 201611251929 A CN201611251929 A CN 201611251929A CN 106599312 B CN106599312 B CN 106599312B
- Authority
- CN
- China
- Prior art keywords
- question
- test
- questions
- knowledge base
- expected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
Abstract
一种知识库的检验方法、装置及终端，所述知识库包括多个问题，所述方法包括：接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。本发明技术方案提高了知识库检验的便捷性和检验效率。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种知识库的检验方法、装置及终端。
背景技术
随着智能问答技术的发展，越来越多的平台(例如，QQ、Skype、电商客服系统、MSN平台、微信平台、短消息服务平台等)内都在采用智能问答系统。应用于智能问答系统的知识库中存储多个知识点，每个知识点包括一个或多个预设的问题以及对应的答案信息。当用户通过输入请求信息提出问题时，获取请求信息与预设问题的语义相似度，如果存在语义相似度大于预设阈值的预设问题，则将该问题对应的答案信息返回给用户。也就是智能问答系统可以基于用户的问题从知识库输出相对应的答案。
在智能问答系统中，为了保证答案输出的准确性，需要对知识库输出的答案的正确性进行验证。现有智能问答系统在检验知识库的正确性时，通常直接在智能问答系统前端输入问句，并判断是否与预期答案一致；然后通过多次输入和判断，统计出准确率。
但是，现有的检验方式需要多个测试人员重复输入，且仅关注智能问答系统的输出答案的准确性；针对错误回复的用户问句分别分析其原因，花费大量人力和精力。尤其在智能问答系统中的知识库发生变更时，需要重复以上动作，非常耗时耗力。
发明内容
本发明解决的技术问题是如何提高知识库检验的便捷性和检验效率。
为解决上述技术问题，本发明实施例提供一种知识库的检验方法，知识库的检验方法包括：
接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。
可选的，所述知识库的检验方法还包括：若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。
可选的，所述知识库的检验方法还包括：若确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致，则所述测试问检验合格。
可选的，所述对所述测试问进行标记包括：在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。
可选的，所述对所述测试问进行标记包括：在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。
可选的，所述基于所述最高语义相似度确定每个所述测试问检验结果包括：所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。
可选的，所述知识库的检验方法还包括：根据所述检验结果计算检验准确率；调整所述第一阈值，直至所述检验准确率达到预设准确率。
可选的，采用以下公式计算所述检验准确率：
可选的，所述知识库包括多个标准问和所述多个标准问对应的扩展问，所述计算所述测试问与所述知识库中多个问题的最高语义相似度包括：计算所述测试问与所述多个标准问的第一最高语义相似度；在所述第一最高语义相似度小于所述第一阈值时，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。
可选的，所述知识库中包括知识点，所述知识点包括标准问；所述期待问题为标准问。
为解决上述技术问题，本发明实施例还公开了一种知识库的检验装置，知识库的检验装置包括：
接收模块，用以接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；相似度计算模块，用以对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；检验结果确定模块，用以基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。
可选的，所述知识库的检验装置还包括：标记模块，用以在确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致时，对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。
可选的，所述标记模块包括：第一标记单元，用以在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；修改单元，用以对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。
可选的，所述标记模块包括：第二标记单元，用以在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；处理单元，用以对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。
可选的，所述检验结果确定模块在确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致时，所述测试问检验合格。
可选的，所述检验结果确定模块包括：第一比较单元，用以在所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；第二比较单元，用以在所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；判断单元，用以在所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。
可选的，所述知识库的检验装置还包括：检验准确率计算模块，用以根据所述检验结果计算检验准确率；调整模块，用以调整所述第一阈值，直至所述检验准确率达到预设准确率。
可选的，所述检验准确率计算模块采用以下公式计算所述检验准确率：
其中，Re为所述检验准确率，PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量，NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量，与未匹配到所述知识库中的问题的测试问的数量之和。
可选的，所述知识库包括多个标准问，所述相似度计算模块计算所述测试问与所述知识库中多个标准问的最高语义相似度。
可选的，所述知识库包括多个标准问和所述多个标准问对应的扩展问，所述相似度计算模块包括：第一最高语义相似度计算单元，用以计算所述测试问与所述多个标准问的第一最高语义相似度；第二最高语义相似度计算单元，用以在所述第一最高语义相似度小于所述第一阈值时，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。
可选的，所述知识库中包括知识点，所述知识点包括标准问；所述期待问题为标准问。
为解决上述技术问题，本发明实施例还公开了一种终端，所述终端包括所述知识库的检验装置，所述终端耦接所述知识库。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案接收多个测试问和其对应的期待问题；对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。本发明技术方案根据测试问与知识库中多个问题的最高语义相似度，确定该测试问的检验结果，检验结果可以包括测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；可以自动完成所有测试问的检验，并输出所有情况下的检验结果，也就是可以生成测试问在知识库中匹配准确情况的完整的数据集合，避免了现有技术中仅关注输出答案的准确性的问题，便于用户基于检验结果对知识库进行完善，提高了知识库检验的便捷性和检验效率。
进一步，若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。相对于现有技术中仅关注智能问答系统的输出结果准确性，本发明技术方案通过对所述测试问进行标记，可以辅助知识库建设人员快速发现智能问答系统回复错误或无应答的情况下相应的测试问，并利用该测试问进一步优化知识库的内容，进而可以提高智能问答系统的输出的答案的准确性。
进一步，在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。本发明技术方案通过对未匹配到所述知识库中的问题的测试问增加第一标记，对匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问增加第二标记，并基于第一标记和第二标记提示用户对知识库进行不同的处理；相对于现有技术中针对错误回复的用户问句分别分析其原因，花费大量人力和精力，本发明技术方案采用不同的标记表示不同的错误原因，进一步提高了知识库检验的便捷性和检验效率。
附图说明
图1是本发明实施例一种知识库的检验方法的流程图；
图2是本发明实施例另一种知识库的检验方法的流程图；
图3是本发明实施例又一种知识库的检验方法的流程图；
图4是本发明实施例一种知识库的检验装置的结构示意图；
图5是本发明实施例另一种知识库的检验装置的结构示意图。
具体实施方式
如背景技术中所述，现有的检验方式需要多个测试人员重复输入，且仅关注智能问答系统的输出答案的准确性；针对错误回复的用户问句分别分析其原因，花费大量人力和精力。尤其在智能问答系统中的知识库发生变更时，需要重复以上动作，非常耗时耗力。
本发明实施例根据测试问与知识库中多个问题的最高语义相似度，确定该测试问的检验结果，检验结果可以包括测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；可以自动完成所有测试问的检验，并输出所有情况下的检验结果，也就是可以生成测试问在知识库中匹配准确情况的完整的数据集合，避免了现有技术中仅关注输出答案的准确性，以便于用户基于检验结果对知识库进行完善，提高了知识库检验的便捷性和检验效率。
进一步，若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。相对于现有技术中仅关注智能问答系统的输出结果准确性，本发明实施例通过对所述测试问进行标记，可以辅助知识建设人员快速发现智能问答系统回复错误或无应答的情况下相应的测试问，并利用该测试问进一步优化知识库的内容，进而可以提高智能问答系统的输出的答案的准确性。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种知识库的检验方法的流程图。
图1所示的知识库的检验方法可以包括以下步骤：
步骤S101：接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；
步骤S102：对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；
步骤S103：基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。
具体实施中，所述知识库可以包括多个问题。问题不仅限于疑问句，可以为一个指令、陈述句、语义表达式等，用以与用户输入的测试问匹配。所述知识库还可以包括针对所述多个问题的答案。具体而言，所述知识库可以存储多个知识点，每个知识点包括一个或多个预设的问题以及对应的答案信息。
在步骤S101中，接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题。其中，多个测试问和其对应的期待问题可以是预先配置的。具体而言，测试问可以是针对知识库中知识点编写的测试文本，用以进行语义正确性检测；每一测试问在编写时会对应一个期待问题。换言之，可以利用测试问对智能问答系统的知识库进行检验，以判断在输入测试问后，智能问答系统能否匹配到期待问题，并输出与期待问题对应的答案一致的答案。
具体实施中，在步骤S102中，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度。具体而言，可以分别计算测试问与知识库中多个问题的多个语义相似度，并选取最大的语义相似度作为最高语义相似度。本领域技术人员应当理解的是，可以采用任意可实施的方式计算所述最高语义相似度，例如，词频逆向文件频率、词向量距离等，本发明实施例对此不做限制。
具体实施中，在步骤S103中，基于步骤S102计算出的所述最高语义相似度确定所述测试问的检验结果。具体而言，在测试问与知识库中的一个问题计算得到最高语义相似度时，根据最高语义相似度的大小可以确定该测试问与知识库中的问题在语义上是否相同或相近，如果是，则检验结果为测试问匹配到所述知识库中的问题，否则，检验结果为测试问没有匹配到所述知识库中的问题。在匹配到所述知识库中的问题时，比较匹配到的问题与测试问的期待问题是否一致。也就是说，本实施例的检验结果对测试问与知识库中多个问题的匹配情况进行表示，而非现有技术中判断测试问的输出答案是否准确，有利于用户利用检验结果对测试问进行分析，快速确定匹配错误原因。
需要说明的是，本发明实施例中所称一致可以是相同，那么判断匹配到的问题与测试问的期待问题是否一致则是判断匹配到的问题与测试问的期待问题是否相同，也就是匹配到的问题与测试问的期待问题是同一个。本发明实施例中所称一致也可以是相近，那么判断匹配到的问题与测试问的期待问题是否一致则是判断匹配到的问题与测试问的期待问题在语义上是否相近。
本发明实施例根据测试问与知识库中多个问题的最高语义相似度，确定该测试问的检验结果，检验结果可以包括测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；可以自动完成所有测试问的检验，并输出所有情况下的检验结果，也就是可以生成测试问在知识库中匹配准确情况的完整的数据集合，避免了现有技术中仅关注输出答案的准确性，以便于用户基于检验结果对知识库进行完善，提高了知识库检验的便捷性和检验效率。
优选地，所述知识库中包括知识点，所述知识点包括标准问，所述期待问题为标准问。也就是说，测试问对应的期待问题为知识库中的标准问；由于每一知识点可以包括一个标准问和多个扩展问，扩展问可以为用以表示该知识点语义的语义表达式和自然语句中的至少一种。通过将测试问与标准问建立映射关系，可以在测试问的编写时，减小编写人员的工作量；同时，通过将测试问与标准问建立映射关系，可以在将测试问与标准问题匹配时，最终确定匹配的标准问，由于每一知识点的标准问仅有一个，因此可以减小计算量。
可以理解的是，所述期待问题也可以为知识库中的扩展问。由此，在步骤S103中，可以根据最高语义相似度判断是否能够匹配到对应的扩展问；由于每一知识点的扩展问有多个，因此计算量比期待问题是标准问时大。
优选地，所述知识库可以包括多个标准问，步骤S102可以包括以下步骤：计算所述测试问与所述知识库中多个标准问的最高语义相似度。具体而言，标准问可以是表达清晰的问题，例如“彩铃的资费”。本实施例通过计算测试问与标准问语义相似度，并确定最高语义相似度，并根据最高语义相似度确定测试问与标准问是否匹配。
优选地，所述知识库可以包括多个标准问和所述多个标准问对应的扩展问，所步骤S102可以包括以下步骤：计算所述测试问与所述多个标准问的第一最高语义相似度；若所述第一最高语义相似度小于所述第一阈值，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。具体而言，扩展问可以用来表示知识点语义的语义表达式和自然语句集合，例如，标准问为“彩铃的资费”时，扩展问可以是“彩铃多少钱”、“彩铃月租是多少”等。本实施例在测试问与标准问的第一最高语义相似度仍然较小时，也就是测试问与标准问不匹配时，计算测试问与所述知识库中扩展问的第二最高语义相似度，判断测试问与扩展问是否匹配，进而可以确定测试问与扩展问对应的标准问是否匹配。
优选地，图1所示的知识库的检验方法还可以包括：若确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致，则所述测试问检验合格。具体而言，在测试问检验合格时，表明智能问答系统可以对该测试问匹配到其对应的期待问题，并输出正确的答案。进一步而言，在测试问检验合格的同时，还可以提供输出该测试问与所述知识库中所述多个问题的最高语义相似度。
图2是本发明实施例一种知识库的检验方法的流程图。
图2所示的知识库的检验方法，所述知识库包括多个问题，方法可以包括以下步骤：
步骤S201：接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；
步骤S202：对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；
步骤S203：基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；
步骤S204：在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；
步骤S205：对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题；
步骤S206：在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；
步骤S207：对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。
本实施例中，步骤S201至步骤S203的具体实施方式可参照图1所示的步骤S101至步骤S103，此处不再赘述。
本实施例中，在测试问的检验结果中，若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。也就是说，在测试问未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致时，表明智能问答系统对于该测试问不能给出正确的应答，那么可以对该测试问进行标记，以便于用户根据标记来利用测试问及其对应的期待问题对知识库进行完善。
具体实施中，在步骤S204中，对于未匹配到所述知识库中的问题的测试问，增加第一标记。具体而言，第一标记可以将未匹配到所述知识库中的问题的测试问与匹配到知识库中的问题的测试问进行区分。换言之，如果某个测试问具有第一标记，那么表示该测试问未匹配到所述知识库中的问题。然后在步骤S205中，利用具有第一标记的测试问及其期待问题对知识库进行完善，可以提示在所述知识库中修改所述测试问对应的期待问题。具体而言，可以修改知识库中的该测试问对应的期待问题的文字表述，使得该测试问可以匹配到该期待问题；还可以修改知识库中的该测试问对应的期待问题的语义表达式，使得该测试问可以匹配到该期待问题；也可以在知识库中增加该测试问，作为知识点的扩展问。
具体实施中，在步骤S206中，对于匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问，增加第二标记。具体而言，第二标记可以将匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问与匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问进行区分。换言之，如果某个测试问具有第二标记，那么表示该测试问匹配到所述知识库中的问题与该测试问对应的期待问题不一致。然后在步骤S207中，利用具有第二标记的测试问及其期待问题对知识库进行完善，可以在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。具体而言，由于测试问与其期待问题相似，测试问匹配到知识库中问题表明测试问与知识库中的问题相似，因此如果测试问匹配到所述知识库中的问题与该测试问对应的期待问题不一致，表示知识库中的问题与该测试问对应的期待问题非常相似，例如，期待问题为“查余额”，匹配到的知识库中的问题为“剩余金额”；因此可以修改知识库中的问题或该测试问对应的期待问题，例如修改文字表述或语义表达式，以做进一步的区分；还可以将知识库中的问题或该测试问对应的期待问题合并为一个，即删除其中一个，以使得对测试问匹配时可以匹配到其对应的期待问题，也可以不做修改。
具体地，第二标记不同于第一标记。也就是说，通过采用两种不同的标记对两种不同的匹配错误情况进行标记，为用户提供了直观的提示，并为用户做进一步操作提供了便利。
优选地，所述知识库中包括知识点，所述知识点包括标准问，所述期待问题为标准问。
本发明实施例通过对未匹配到所述知识库中的问题的测试问增加第一标记，对匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问增加第二标记，并基于第一标记和第二标记提示用户对知识库进行不同的处理；相对于现有技术中针对错误回复的用户问句分别分析其原因，花费大量人力和精力，本发明实施例直接采用不同的标记表示不同的错误原因，进一步提高了知识库检验的便捷性和检验效率。
图3是本发明实施例又一种知识库的检验方法的流程图。
图3所示的知识库的检验方法，所述知识库包括多个问题，所述方法可以包括以下步骤：
步骤S301：接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；
步骤S302：对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；
步骤S303：判断最高语义相似度是否达到第一阈值，如果是，进入步骤S304，否则，进入步骤S305；
步骤S304：判断所述知识库中的问题是否与所述期待问题一致，如果是，进入步骤S306，否则进入步骤S307；
步骤S305：确定所述测试问未匹配到所述知识库中的问题；
步骤S306：所述测试问检验合格；
步骤S307：对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改；
步骤S308：重新计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度，基于所述最高语义相似度确定每个所述测试问的检验结果；
步骤S309：根据所述检验结果计算检验准确率；
步骤S310：调整所述第一阈值，直至所述检验准确率达到预设准确率。
本实施例中，步骤S301至步骤S302的具体实施方式可参照图1所示的，步骤S101至步骤S102，此处不再赘述。
具体实施中，在步骤S303中，判断最高语义相似度是否达到第一阈值。具体而言，最高语义相似度达到第一阈值可以是最高语义相似度大于或等于第一阈值。可以理解的是，所述第一阈值可以由用户进行自定义配置，本发明实施例对此不做限制。
具体实施中，如果最高语义相似度达到第一阈值，表示测试问与所述知识库中的问题相似，则可以确定所述测试问与所述知识库中的问题相匹配。从而在步骤S304中，判断所述知识库中的问题是否与该测试问对应的期待问题一致。如果知识库中的问题与该测试问对应的期待问题一致，则测试问检验合格。
具体实施中，如果最高语义相似度小于第一阈值，表示测试问与所述知识库中的问题不相似，那么在步骤S305中可以确定所述测试问未匹配到所述知识库中的问题。如果知识库中的问题与该测试问对应的期待问题不一致，则在步骤S307中，对步骤S305的输出的未匹配到所述知识库中的问题的测试问，以及对知识库中的问题与该测试问对应的期待问题不一致的所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。
进一步地，在步骤S308至步骤S310中，可以重新确定检验结果，根据所述检验结果计算检验准确率；还可以调整所述第一阈值，直至所述检验准确率达到预设准确率。也就是说，在基于被标记的测试问及其期待问题对所述知识库进行修改后，重新确定检验结果，然后调整最高语义相似度的比较阈值，直至检验准确率达到预设准确率。换言之，在对知识库进行修改后，通过调整第一阈值，以及预先设置预设准确率，使得对于多个测试问可以基本达到匹配正确且答复正确的效果，那么也达到了对知识库的检验效果。
具体而言，在步骤S309中，可以采用以下公式计算所述检验准确率：其中，Re为所述检验准确率，PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量，NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量，与未匹配到所述知识库中的问题的测试问的数量之和。也就是说，利用测试问对知识库进行检验时，检验结果包括三种情况：匹配到所述知识库中的问题与所述测试问对应的期待问题一致、匹配到所述知识库中的问题与所述测试问对应的期待问题不一致和未匹配到所述知识库中的问题。其中，检验合格的情况是匹配到所述知识库中的问题与所述测试问对应的期待问题一致，其他则为出现错误的情况，那么检验准确率则是对应的测试问数量的比值，也即检验合格的测试问的数量与出现错误的测试问的数量的比值。
本发明实施例的具体实施方式可参照前述相应实施例，此处不再赘述。
图4是本发明实施例一种知识库的检验装置的结构示意图。
图4所示的知识库的检验装置40可以包括接收模块401、相似度计算模块402和检验结果确定模块403。
其中，接收模块401用以接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；相似度计算模块402用以对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；检验结果确定模块403用以基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。
具体实施中，所述知识库可以包括多个问题。所述知识库还可以包括针对所述多个问题的答案。具体而言，所述知识库可以存储多个知识点，每个知识点包括一个或多个预设的问题以及对应的答案信息。
具体实施中，多个测试问和其对应的期待问题可以是预先配置的。具体而言，测试问可以是针对知识库中知识点编写的测试文本，用以进行语义正确性检测；每一测试问在编写时会对应一个期待问题，所述期待问题可以是知识库中的问题。换言之，可以利用测试问对智能问答系统的知识库进行检验，以判断在输入测试问后，智能问答系统能否匹配到期待问题，并输出与期待问题对应的答案一致的答案。
具体实施中，相似度计算模块402可以分别计算测试问与知识库中多个问题的多个语义相似度，并选取最大的语义相似度作为最高语义相似度。本领域技术人员应当理解的是，可以采用任意可实施的方式计算所述最高语义相似度，例如，词频逆向文件频率、词向量距离等，本发明实施例对此不做限制。
具体实施中，在测试问与知识库中的一个问题计算得到最高语义相似度时，检验结果确定模块403可以根据最高语义相似度的大小可以确定该测试问与知识库中的一个问题是否是相似问句，如果是，则检验结果为测试问匹配到所述知识库中的问题，否则，检验结果为测试问没有匹配到所述知识库中的问题。在匹配到所述知识库中的问题时，比较匹配到的问题与测试问的期待问题是否一致。也就是说，本实施例的检验结果对测试问与知识库中多个问题的匹配情况进行表示，而非现有技术中判断测试问的输出答案是否准确，有利于用户利用检验结果对测试问进行分析，快速确定匹配错误原因。
需要说明的是，本发明实施例中所称一致可以是相同。
本发明实施例根据测试问与知识库中多个问题的最高语义相似度，确定该测试问的检验结果，检验结果可以包括测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；可以自动完成所有测试问的检验，并输出所有情况下的检验结果，也就是可以生成测试问在知识库中匹配准确情况的完整的数据集合，避免了现有技术中仅关注输出答案的准确性，以便于用户基于检验结果对知识库进行完善，提高了知识库检验的便捷性和检验效率。
优选地，所述知识库中包括知识点，所述知识点包括标准问，所述期待问题为标准问。也就是说，测试问对应的期待问题为知识库中的标准问；由于每一知识点可以包括一个标准问和多个扩展问，通过将测试问与标准问建立映射关系，可以在测试问的编写时，减小编写人员的工作量；同时，通过将测试问与标准问建立映射关系，可以在将测试问与标准问题匹配时，最终确定匹配的标准问，由于每一知识点的标准问仅有一个，因此可以减小计算量。
可以理解的是，所述期待问题也可以为知识库中的扩展问。那么检验结果确定模块403可以根据最高语义相似度判断是否能够匹配到对应的扩展问；由于每一知识点的扩展问有多个，因此计算量比期待问题是标准问时大。
优选地，所述知识库可以包括多个标准问，相似度计算模块402可以计算所述测试问与所述知识库中多个标准问的最高语义相似度。具体而言，标准问可以是表达清晰的问题，例如“彩铃的资费”。本实施例通过计算测试问与标准问语义相似度，并确定最高语义相似度，并根据最高语义相似度确定测试问与标准问是否匹配。
优选地，所述知识库可以包括多个标准问和所述多个标准问对应的扩展问，相似度计算模块402可以包括第一最高语义相似度计算单元(图未示)和第二最高语义相似度计算单元(图未示)。第一最高语义相似度计算单元用以计算所述测试问与所述多个标准问的第一最高语义相似度；第二最高语义相似度计算单元用以在所述第一最高语义相似度小于所述第一阈值，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。具体而言，扩展问可以用来表示知识点语义的语义表达式和自然语句集合，例如，标准问为“彩铃的资费”时，扩展问可以是“彩铃多少钱”、“彩铃月租是多少”等。本实施例在测试问与标准问的第一最高语义相似度仍然较小时，也就是测试问与标准问不匹配时，计算测试问与所述知识库中扩展问的第二最高语义相似度，判断测试问与扩展问是否匹配，进而可以确定测试问与扩展问对应的标准问是否匹配。
优选地，检验结果确定模块403在确定所述检验结果为匹配到所述知识库中的问题，且匹配的问题与所述期待问题一致时，则所述测试问检验合格。具体而言，在测试问检验合格时，表明智能问答系统可以对该测试问匹配到其对应的期待问题，并输出正确的答案。进一步而言，在测试问检验合格的同时，还可以提供输出该测试问与所述知识库中所述多个问题的最高语义相似度。
本发明实施例的具体实施方式可参照图1所示实施例，此处不再赘述。
图5是本发明实施例另一种知识库的检验装置的结构示意图。
图5所示的知识库的检验装置50可以包括接收模块501、相似度计算模块502、检验结果确定模块503、标记模块504、检验准确率计算模块505和调整模块506；检验结果确定模块503可以包括第一比较单元5031、第二比较单元5032和判断单元5033；标记模块504可以包括第一标记单元5041、修改单元5042、第二标记单元5043和处理单元5044。
其中，接收模块501用以接收多个测试问和其对应的期待问题，所述期待问题为所述知识库中的问题；相似度计算模块502用以对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；检验结果确定模块503用以基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致。具体而言，检验结果确定模块503在确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致时，所述测试问检验合格。
具体实施中，标记模块504用以在确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致时，对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。也就是说，在测试问未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致时，表明智能问答系统对于该测试问不能给出正确的应答，那么可以对该测试问进行标记，以便于用户根据标记来利用测试问及其对应的期待问题对知识库进行完善。
检验准确率计算模块505用以根据所述检验结果计算检验准确率；调整模块506用以调整所述第一阈值，直至所述检验准确率达到预设准确率。
具体而言，检验准确率计算模块505可以采用以下公式计算所述检验准确率：
优选地，第一标记单元5041用以在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；修改单元5042用以对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。具体而言，第一标记可以将未匹配到所述知识库中的问题的测试问与匹配到知识库中的问题的测试问进行区分。换言之，如果某个测试问具有第一标记，那么表示该测试问未匹配到所述知识库中的问题。修改单元5042可以修改知识库中的该测试问对应的期待问题文字表述，使得该测试问可以匹配到该期待问题；还可以修改知识库中的该测试问对应的期待问题的语义表达式，使得该测试问可以匹配到该期待问题；也可以在知识库中增加该测试问，作为知识点的扩展问。
优选地，第二标记单元5043用以在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；处理单元5044用以对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。具体而言，第二标记可以将匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问与匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问进行区分。换言之，如果某个测试问具有第二标记，那么表示该测试问匹配到所述知识库中的问题与该测试问对应的期待问题不一致。由于测试问与其期待问题相似，测试问匹配到知识库中问题表明测试问与知识库中的问题相似，因此如果测试问匹配到所述知识库中的问题与该测试问对应的期待问题不一致，表示知识库中的问题与该测试问对应的期待问题非常相似，例如，期待问题为“查余额”，匹配到的知识库中的问题为“剩余金额”；因此处理单元5044可以修改知识库中的问题或该测试问对应的期待问题，例如修改文字表述或语义表达式，以做进一步的区分；还可以将知识库中的问题或该测试问对应的期待问题合并为一个，以使得对测试问匹配时可以匹配到其对应的期待问题。
具体地，第二标记不同于第一标记。也就是说，通过采用两种不同的标记对两种不同的匹配错误情况进行标记，为用户提供了直观的提示，并为用户做进一步操作提供了便利。
优选地，所述知识库中包括知识点，所述知识点包括标准问，所述期待问题为标准问。
本发明实施例通过对未匹配到所述知识库中的问题的测试问增加第一标记，对匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的测试问增加第二标记，并基于第一标记和第二标记提示用户对知识库进行不同的处理；相对于现有技术中针对错误回复的用户问句分别分析其原因，花费大量人力和精力，本发明实施例直接采用不同的标记表示不同的错误原因，进一步提高了知识库检验的便捷性和检验效率。
优选地，第一比较单元5031用以在所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；如果最高语义相似度达到第一阈值，表示测试问与所述知识库中的问题相似，则可以确定所述测试问与所述知识库中的问题相匹配。
优选地，第二比较单元5032用以在所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；如果最高语义相似度小于第一阈值，表示测试问与所述知识库中的问题不相似，则可以利用标记模块504进行处理。
判断单元5033用以在所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。如果知识库中的问题与该测试问对应的期待问题一致，则测试问检验合格。如果知识库中的问题与该测试问对应的期待问题不一致，则可以利用标记模块504进行处理。
优选地，检验准确率计算模块505可以根据所述检验结果计算检验准确率；调整模块506可以调整所述第一阈值，直至所述检验准确率达到预设准确率。也就是说，在基于被标记的测试问及其期待问题对所述知识库进行修改后，重新确定检验结果，然后调整最高语义相似度的比较阈值，直至检验准确率达到预设准确率。换言之，在对知识库进行修改后，通过调整第一阈值，以及预先设置预设准确率，使得对于多个测试问可以基本达到匹配正确且答复正确的效果，那么也达到了对知识库的检验效果。
本发明实施例的具体实施方式可参照图2和图3所示实施例，此处不再赘述。
本发明实施例还公开了一种终端，所述终端可以包括图4所示的知识库的检验装置40或图5所示的知识库的检验装置50。所述终端可以内部或外部耦接所述知识库。所述终端可以是智能手机、平板电脑、计算机等设备。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (21)
1.一种知识库的检验方法，所述知识库包括多个问题，其特征在于，包括：
接收多个测试问和其对应的期待问题，每一测试问对应一个期待问题，所述期待问题为所述知识库中的问题，所述测试问用以进行语义正确性检测，所述多个测试问和其对应的期待问题是预先配置的；
对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；
基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；
若确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致，则对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。
2.根据权利要求1所述的知识库的检验方法，其特征在于，所述对所述测试问进行标记包括：
在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；
对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。
3.根据权利要求1所述的知识库的检验方法，其特征在于，所述对所述测试问进行标记包括：
在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；
对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。
4.根据权利要求1所述的知识库的检验方法，其特征在于，还包括：
若确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致，则所述测试问检验合格。
5.根据权利要求1所述的知识库的检验方法，其特征在于，所述基于所述最高语义相似度确定每个所述测试问检验结果包括：
所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；
所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；
所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。
6.根据权利要求5所述的知识库的检验方法，其特征在于，还包括：
根据所述检验结果计算检验准确率；
调整所述第一阈值，直至所述检验准确率达到预设准确率。
7.根据权利要求6所述的知识库的检验方法，其特征在于，采用以下公式计算所述检验准确率：
8.根据权利要求1至7任一项所述的知识库的检验方法，其特征在于，所述知识库包括多个标准问，所述计算所述测试问与所述知识库中所述多个问题的最高语义相似度包括：
计算所述测试问与所述知识库中多个标准问的最高语义相似度。
9.根据权利要求5至7任一项所述的知识库的检验方法，所述知识库包括多个标准问和所述多个标准问对应的扩展问，所述计算所述测试问与所述知识库中多个问题的最高语义相似度包括：
计算所述测试问与所述多个标准问的第一最高语义相似度；
在所述第一最高语义相似度小于所述第一阈值时，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。
10.根据权利要求1所述的知识库的检验方法，其特征在于，所述知识库中包括知识点，所述知识点包括标准问；所述期待问题为标准问。
11.一种知识库的检验装置，其特征在于，包括：
接收模块，用以接收多个测试问和其对应的期待问题，每一测试问对应一个期待问题，所述期待问题为所述知识库中的问题，所述测试问用以进行语义正确性检测，所述多个测试问和其对应的期待问题是预先配置的；
相似度计算模块，用以对于所述测试问，计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度；
检验结果确定模块，用以基于所述最高语义相似度确定每个所述测试问的检验结果，所述检验结果包括所述测试问是否匹配到所述知识库中的问题，以及在匹配到所述知识库中的问题时，匹配的问题是否与所述测试问对应的期待问题一致；
标记模块，用以在确定所述检验结果为未匹配到所述知识库中的问题，或者确定匹配的问题与所述期待问题不一致时，对所述测试问进行标记，以提示基于被标记的测试问的期待问题对所述知识库进行修改。
12.根据权利要求11所述的知识库的检验装置，其特征在于，所述标记模块包括：
第一标记单元，用以在所述测试问未匹配到所述知识库中的问题时，对所述测试问增加第一标记；
修改单元，用以对于标记为所述第一标记的所述测试问，提示在所述知识库中修改所述测试问对应的期待问题。
13.根据权利要求11所述的知识库的检验装置，其特征在于，所述标记模块包括：
第二标记单元，用以在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时，对所述测试问增加第二标记；
处理单元，用以对于标记为所述第二标记的所述测试问，提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。
14.根据权利要求11所述的知识库的检验装置，其特征在于，所述检验结果确定模块在确定所述检验结果为匹配到所述知识库中的问题时，且匹配的问题与所述期待问题一致时，所述测试问检验合格。
15.根据权利要求11所述的知识库的检验装置，其特征在于，所述检验结果确定模块包括：
第一比较单元，用以在所述最高语义相似度达到第一阈值时，则确定所述测试问与所述知识库中的问题相匹配；
第二比较单元，用以在所述最高语义相似度小于所述第一阈值时，则确定所述测试问未匹配到所述知识库中的问题；
判断单元，用以在所述测试问与所述知识库中的问题相匹配时，判断所述知识库中的问题是否与所述期待问题一致。
16.根据权利要求15所述的知识库的检验装置，其特征在于，还包括：
检验准确率计算模块，用以根据所述检验结果计算检验准确率；
调整模块，用以调整所述第一阈值，直至所述检验准确率达到预设准确率。
17.根据权利要求16所述的知识库的检验装置，其特征在于，所述检验准确率计算模块采用以下公式计算所述检验准确率：
其中，Re为所述检验准确率，PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量，NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量，与未匹配到所述知识库中的问题的测试问的数量之和。
18.根据权利要求11至17任一项所述的知识库的检验装置，其特征在于，所述知识库包括多个标准问，所述相似度计算模块，用以计算所述测试问与所述知识库中多个标准问的最高语义相似度。
19.根据权利要求15至17任一项所述的知识库的检验装置，所述知识库包括多个标准问和所述多个标准问对应的扩展问，所述相似度计算模块包括：
第一最高语义相似度计算单元，用以计算所述测试问与所述多个标准问的第一最高语义相似度；
第二最高语义相似度计算单元，用以在所述第一最高语义相似度小于所述第一阈值时，则计算测试问与所述知识库中扩展问的第二最高语义相似度，以作为所述最高语义相似度。
20.根据权利要求11所述的知识库的检验装置，其特征在于，所述知识库中包括知识点，所述知识点包括标准问；所述期待问题为标准问。
21.一种终端，其特征在于，包括如权利要求11至20任一项所述的知识库的检验装置，所述终端耦接所述知识库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611251929.7A CN106599312B (zh) | 2016-12-29 | 2016-12-29 | 知识库的检验方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611251929.7A CN106599312B (zh) | 2016-12-29 | 2016-12-29 | 知识库的检验方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106599312A CN106599312A (zh) | 2017-04-26 |
| CN106599312B true CN106599312B (zh) | 2020-02-21 |
Family
ID=58605296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611251929.7A Active CN106599312B (zh) | 2016-12-29 | 2016-12-29 | 知识库的检验方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106599312B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909133B (zh) * | 2018-09-17 | 2022-06-24 | 上海智臻智能网络科技股份有限公司 | 一种智能问答的测试方法、装置、电子设备及存储介质 |
| CN111897936B (zh) * | 2020-08-05 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 一种问答系统的召回准确度的评测方法、装置及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617117B (zh) * | 2013-11-15 | 2016-03-23 | 中国航空无线电电子研究所 | 一种基于航空嵌入式软件测试知识库系统 |
| US9836693B2 (en) * | 2014-09-17 | 2017-12-05 | International Business Machines Corporation | Using cohorts in a question answering system |
| CN105893476B (zh) * | 2016-03-29 | 2019-08-16 | 上海智臻智能网络科技股份有限公司 | 智能问答方法、知识库优化方法及装置、智能知识库 |
| CN105893535B (zh) * | 2016-03-31 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 智能问答方法、知识库优化方法及装置、智能知识库 |
-
2016
- 2016-12-29 CN CN201611251929.7A patent/CN106599312B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106599312A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360550B (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
| CN107678935B (zh) | 数据生成方法、终端及计算机可读存储介质 | |
| CN110704633A (zh) | 命名实体识别方法、装置、计算机设备及存储介质 | |
| CN102609406B (zh) | 学习装置、判断装置、学习方法和判断方法 | |
| CN109284355B (zh) | 一种批改试卷中口算题的方法及装置 | |
| KR20070060862A (ko) | 학습 데이터 구축 장치 및 방법 | |
| CN109189895B (zh) | 一种针对口算题的题目批改方法及装置 | |
| US11531693B2 (en) | Information processing apparatus, method and non-transitory computer readable medium | |
| CN106599317A (zh) | 问答系统的测试数据处理方法、装置及终端 | |
| WO2022156065A1 (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
| CN107491536B (zh) | 一种试题校验方法、试题校验装置及电子设备 | |
| US11238050B2 (en) | Method and apparatus for determining response for user input data, and medium | |
| CN113836885A (zh) | 文本匹配模型训练方法、文本匹配方法、装置和电子设备 | |
| CN109947651B (zh) | 人工智能引擎优化方法和装置 | |
| CN114969352B (zh) | 文本处理方法、系统、存储介质及电子设备 | |
| CN106599312B (zh) | 知识库的检验方法、装置及终端 | |
| CN111325031A (zh) | 简历解析方法及装置 | |
| CN111723182B (zh) | 一种用于漏洞文本的关键信息抽取方法及装置 | |
| CN112116181B (zh) | 课堂质量模型的训练方法、课堂质量评价方法及装置 | |
| CN113704452B (zh) | 基于Bert模型的数据推荐方法、装置、设备及介质 | |
| CN114065762A (zh) | 一种文本信息的处理方法、装置、介质及设备 | |
| CN115062571A (zh) | 应用于集成电路器件的数据区域动态选取方法、系统、设备和计算机可读存储介质 | |
| CN114297380A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| WO2022164549A1 (en) | Root cause pattern recognition based model training | |
| CN112560431A (zh) | 用于生成试题辅导信息的方法、装置、设备、存储介质以及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Inspection method, device and terminal of knowledge base Effective date of registration: 20230223 Granted publication date: 20200221 Pledgee: China Construction Bank Corporation Shanghai No.5 Sub-branch Pledgor: SHANGHAI XIAOI ROBOT TECHNOLOGY Co.,Ltd. Registration number: Y2023980033272 |