CN111459917A - 知识库管理方法、装置及处理设备 - Google Patents

知识库管理方法、装置及处理设备 Download PDF

Info

Publication number
CN111459917A
CN111459917A CN202010302438.0A CN202010302438A CN111459917A CN 111459917 A CN111459917 A CN 111459917A CN 202010302438 A CN202010302438 A CN 202010302438A CN 111459917 A CN111459917 A CN 111459917A
Authority
CN
China
Prior art keywords
group chat
sentence
question
record
knowledge base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010302438.0A
Other languages
English (en)
Other versions
CN111459917B (zh
Inventor
付锦华
彭爽
崔恒斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010302438.0A priority Critical patent/CN111459917B/zh
Publication of CN111459917A publication Critical patent/CN111459917A/zh
Application granted granted Critical
Publication of CN111459917B publication Critical patent/CN111459917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书提供一种知识库管理方法、装置及处理设备,可以针对群聊服务场景,对于群聊用户多,角色不清晰的聊天内容进行对话响应关系的确定,再基于对话响应关系进行问答信息的挖掘,确定出候选问答信息。利用人工客服对候选问答信息的点击采纳实现对候选问答信息进行反馈验证,将采纳率大于预设阈值的候选问答信息添加知识库中,可以不需要运营人员参与,实现了知识库的自动更新以及零运营管理。

Description

知识库管理方法、装置及处理设备
技术领域
本说明书属于计算机技术领域,尤其涉及一种知识库管理方法、装置及处理设备。
背景技术
随着计算机技术的发展,智能服务团队助力客服业务突飞猛进,一般客服业务均会使用知识库,知识库可以指由问答对及其他相关信息形式组织的服务内容。在商家使用云客服产品时,商家自身的服务运营能力一般是有限的,这成为智能客服能力发挥应有价值最大的挑战。以核心产品机器人为例,目前客服领域的智能问答机器人非常依赖知识库的丰富度,通常绝大多数商家缺乏长期支持知识库运营管理的人力。如何对知识库进行管理,以提高智能服务的准确性,是本领域亟需解决的技术问题。
发明内容
本说明书实施例的目的在于提供一种知识库管理方法、装置及处理设备,实现了知识库的零运营管理,提高看了知识库的准确性和覆盖面。
一方面,本说明书实施例提供了一种知识库管理方法,所述方法包括:
获取群聊服务记录;
确定所述群聊服务记录中对话记录的对话响应关系;
根据所述对话响应关系挖掘知识库中未存储的候选问答信息;
获取人工客服端对所述候选问答信息的采纳率;
将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
另一方面,本说明书提供了一种知识库管理装置,包括:
群聊记录获取模块,用于获取群聊服务记录;
响应关系确定模块,用于确定所述群聊服务记录中对话记录的对话响应关系;
问答信息挖掘模块,用于确定所述群聊服务记录中对话记录的对话响应关系挖掘知识库中未存储的候选问答信息;
客服反馈模块,用于获取人工客服端对所述候选问答信息的采纳率;
知识库更新模块,用于将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
还一方面,本说明书实施例提供了一种知识库管理处理设备,包括至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述知识库管理方法。
本说明书提供的知识库管理方法、装置及处理设备,可以针对群聊服务场景,对于群聊中用户多,角色不清晰的聊天内容进行对话响应关系的确定,再基于对话响应关系进行问答信息的挖掘,确定出候选问答信息。利用人工客服对候选问答信息的点击采纳实现对候选问答信息进行反馈验证,验证了候选问答信息的有效性,将采纳率大于预设阈值的候选问答信息添加知识库中,可以不需要运营人员参与,实现了知识库的自动更新、零运营管理。并且利用人工客服的点击反馈可以对候选问答信息进行有效性验证,提高了知识库的准确性、及时性以及覆盖面。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的知识库管理方法实施例的流程示意图;
图2是本说明书一个示例中客服服务的数据交互流程示意图;
图3是本说明书一个实施例中群聊对话记录集合中对话响应关系确定的原理示意图;
图4是本说明书一个示例中知识库零运营管理的流程示意图;
图5是本说明书一个示例中知识库的轻运营管理示意图;
图6是本说明书提供的知识库管理装置一个实施例的模块结构示意图;
图7是本说明书一个实施例中知识库管理服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
随着计算机互联网技术的发展,客服业务在在不断的发展,智能服务团队可以提供不同类型的智慧沟通平台如:机器人、在线&热线工作台等,一些智慧沟通平台还可以与常用的社交平台如:聊天软件等构建服务群,提供一种新的客服服务模式。但是,不管哪一种智慧沟通平台通常均需要使用知识库,知识库一般是由工作人员对业务和产品内容进行梳理,通过市场调研、问卷调查等方式构建出来的。但是,知识库是需要不断更新的,一般租户没有对知识库的运营管理能力,知识库的准确性和覆盖面可能会受到影响。
本说明书实施例提供一种知识库管理方法,可以实现知识库的自动更新管理,实现知识库零运营,不需要运营人员对知识库进行人工管理,大大降低了知识库的运营管理人力和成本,同时可以实现知识库的实时更新,提高知识库的准确性和覆盖面。
图1是本说明书实施例提供的知识库管理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
具体的一个实施例如图1所示,本说明书提供的知识库管理方法的一个实施例中,所述方法可以用于客户端(如:智能手机、平板电脑、计算机、车载设备、智能穿戴设备等)、服务器等终端,所述方法可以包括如下步骤:
步骤102、获取群聊服务记录。
在具体的实施过程中,随着结合社交平台等建立群聊的客服服务逐渐增多,本说明书实施例可以重点针对群聊场景,群聊的特点是交互用户比较多,角色不清晰,无法定位提问用户和回答用户,对于问答信息的挖掘可能有一定的难度。图2是本说明书一个示例中客服服务的数据交互流程示意图,如图2所示,本说明书一些实施例中,用户可以通过用户终端向服务器如:智慧沟通平台发起提问,服务器可以将接收到的问题转发给智能客服端或者人工客服端,其中智能客服端可以理解为是问答机器人,若服务器将用户的输入转发给智能客服端,则问答机器人可以将用户输入的问题直接与知识库进行匹配,为用户返回对应的答案,若知识库中没有匹配到准确的答案,则可以提示用户转人工客服,进一步将该问题发送至人工客服端,由人工客服对该问题进行解答。这个对话的过程,涉及到用户终端、智能服务端、人工服务端,即群聊服务记录一般指至少包括三个终端的对话记录,通常情况下群聊服务记录是包括用户与客服之间的对话记录的。当然,有些群聊服务记录可能包括更多终端之间的对话记录,例如:利用社交平台构建群聊的客服服务模式,即可建立一个服务群,服务群中可能有多个用户,用户在服务群中输入问题,其他用户可以通过其自己的用户终端进行解答,服务群中还可以包括人工客服和智能客服,若服务群里其他用户无法解答,则人工客服和智能客服可以对用户输入的问题进行解答,这种方式的群聊服务记录可能包括更多终端的对话记录。一般群聊服务记录可以保存在对应的数据库中,本说明书实施例可以从数据库中获取群聊服务记录,获取的记录可以有多条,每一次服务对话结束,即将该次服务的群聊服务记录保存作为一条记录。
步骤104、确定所述群聊服务记录中对话记录的对话响应关系。
在具体的实施过程中,群聊服务记录中的角色比较多,对话内容比较混乱,与单聊不同的是,单聊可以明确的知道其中一个用户是提问的,另一个用户的回答即是答案。群聊的用户比较多,没有固定的用户是提问或解答的。本说明书实施例,先根据群聊服务记录中的对话记录,确定出各个语句的对话响应关系。对话响应关系可以理解为一句话是响应哪一句话的,为后续问答信息的挖掘奠定了数据基础。例如:可以根据对话记录中的引用回复、@关系等构建出群聊服务记录中对话记录的对话响应关系,如:可以获取各个对话语句中是否有引用回复或者“@”字符,以确定对话响应关系。还可以采用机器学习模型如:BERT(Bidirectional Encoder Representations from Transformers,基于微调的多层双向变换器编码器)等确定出各个语句之间的对话响应关系,或者采用其他的方法,本说明书实施例不作具体限定。
本说明书一些实施例中,可以采用下述方法确定出所述群聊服务记录中对话记录的对话响应关系:
获取所述群聊服务记录中的群聊对话记录集合;
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
计算所述目标语句与各个所述目标语句的上文语句之间的相似度;
根据计算出的相似度,从所述目标语句的上文语句中选取所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
在具体的实施过程中,可以根据群聊服务记录确定出群聊对话记录集合,群聊对话记录集合中可以包括群聊服务过程中的多个对话语句,各个语句可以按照对话内容的先后顺序进行排序。可以在群聊对话记录集合中依次选择目标语句以及各个目标语句对应的上文语句,如:可以先从第二句开始,将第二句语句作为目标语句,第一句语句作为该目标语句的上文语句,再将第三句语句作为新的目标语句,第一句语句和第二句语句作为该新的目标语句的上文语句,以此类推,直至群聊对话记录集合中所有语句选择完毕。确定出目标语句后,可以计算目标语句与各个上文语句之间的相似度,根据计算出的相似度确定出目标语句的响应语句,如:可以将相似度大于预设相似度阈值的上文语句作为目标语句的响应语句,或者将相似度最大的上文语句作为目标语句的响应语句,本说明书实施例不作具体限定。目标语句和其对应的上文语句的相似度的计算可以采用相似度模型如BERT模型等,在计算相似度时可能需要对各个对话语句进行分词、向量转换等数据处理,本说明书实施例不作具体限定。
图3是本说明书一个实施例中群聊对话记录集合中对话响应关系确定的原理示意图,如图3所示,u1、u2、u3分别表示三个角色,即该对话是三个用户之间的对话。如图3所示,该段对话中一共有4句对话,三个角色,可以先将第二句作为目标语句,确定出第二句和第一句是否有对话响应关系,再将第三句作为目标语句,确定第一句和第二句与第三句之间的对话响应关系,再将第四句作为目标语句,确定第四句与前三句之间的对话响应关系。图3中示意出了以最后一句“在配置里面修改”为目标语句,将前3句作为该目标语句的上文语句,依次计算3个上文语句和该目标语句之间的相似度,从三个上文语句中确定出第二句“可以开通吗”是该目标语句的响应语句。其他的语句可以采用类似的方式,确定出对应的响应语句,构建出对话响应关系。
本说明书通过计算群聊服务记录中各个语句与其对应的上文语句之间的相似度确定出各个语句之间的响应关系,再基于响应关系,可以准确的进行问答信息的挖掘,为后续问答信息的挖掘奠定了数据基础,实现了群聊场景角色多并且角色不清晰时问答信息的准确挖掘。
在本说明书另一些实施例中,还可以采用下述方法确定出所述群聊服务记录中对话记录的对话响应关系:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
将所述目标语句作为问题语句,利用阅读理解模型从所述上文语句中确定出所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,利用所述阅读理解模型确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
在具体的实施过程中,本说明书实施例还可以利用阅读理解模型确定各个目标语句对应的响应语句,阅读理解模型可以理解为利用机器阅读理解算法(Machine ReadingComprehension)构建的机器学习模型,其本质可以看作是一种句子关系匹配任务,其具体的预测结果与具体任务有关。一般阅读理解模型可以有两个输入,一个是段落,一个是问题,从段落里找问题的答案。本说明书实施例,可以从群聊对话记录集合依次选择一个目标语句,将目标语句作为问题语句,将该目标语句对应的上文语句作为段落,利用阅读理解模型从上文语句中选择目标语句的响应语句。其中,目标语句和上文语句的确定方式可以参考上述实施例的记载,此处不再赘述。利用阅读理解模型可以对群聊场景中的多个角色的对话信息进行解析,快速确定出各个语句之间的响应关系,可以解决群聊场景中角色不清晰,无法确定出问题客户和解答客户时,语句之间响应关系的确定问题,为后续问答信息的挖掘奠定了数据基础。
此外,本说明书一些实施例中,还提供了一种针对有智能客服端即有问答机器人参与的群聊场景的对话响应关系的确定方法。本说明书一些示例中,用户可以通过用户终端发起提问,先由智能客服端进行答复,若智能客服端无法回答,则可以转到人工客服端。对于这种场景,可以获取该群聊服务记录中的用户终端与智能客服端的智能对话记录,将用户问机器人即智能客服端的对话即智能对话记录作为阅读理解模型的问题语句,将转入人工后用户终端与人工客服端的人工对话记录作为段落,从人工对话记录中确定出问题语句的响应语句。
此外,对于有智能客服端的对话场景,转人工客服后,用户可能问不止一个问题,可以利用上述方法确定出用户问智能客服端的问题的响应语句后,还可以单独对用户与人工客户端之间的对话记录进行解析,确定出转人工后,各个语句之间的对话响应关系。确定转人工后各个语句之间响应关系的方法可以采用相似度计算或阅读理解模型的方式,本说明书实施例不作具体限定。
本说明书实施例结合了带有机器人这种智能客服终端场景的特点,对群聊服务记录进行分析,以准确获得群聊服务记录中各个语句之间的对话响应关系,为后续问答信息的挖掘奠定了数据基础。
步骤106、根据所述对话响应关系挖掘知识库中未存储的候选问答信息。
在具体的实施过程中,确定出群聊服务记录中的对话响应关系后,可以进行问题的筛选,挖掘出知识库中未存储的候选问答信息。具有对话响应关系的语句可能是问题和答案,也可能是语义相关的问题,或者语义相关的答案等,可以先对有对话响应关系的语句进行问题筛选,筛选出包含问题的对话响应关系,如:有疑问符号或有疑问词的语句。筛选出包含问题的对话响应关系后,还可以再对筛选出的语句对进行质量的审核,例如:对话响应关系一般是包括多个对话语句对,可以对多个对话语句对进行隐私过滤、意图分类、问题质量评分(如是否业务问题等)、答案质量评分、问答相关性分析、上下文补全、主干提取等操作,筛选出候选问答信息。其中问题质量评分、答案质量评分、问答相关性评分等均可以使用机器学习模型进行,本说明书实施例不作具体限定。一般候选问答信息可以包括候选问题和对应的候选答案,对于没有候选答案的候选问答信息还可以由人工审核补全。确定出的候选问答信息可以存入缓存数据库,以备后续使用。
本说明书一些实施例可以在智能客服端如问答机器人无法回答用户的问题时,转人工客服,将用户与机器人、人工客服的对话保存,存储的群聊服务记录一般是知识库中没有的问答信息。当然,也可以将挖掘的问答信息与知识库进行匹配,保存未匹配成功的候选问答信息,匹配成功的可以不需要保存。
步骤108、获取人工客服端对所述候选问答信息的采纳率。
在具体的实施过程中,可以利用人工客服通过人工客服端对候选问答信息进行进一步的反馈审核,根据人工客服通过人工客服端对候选问答信息的选择点击等,获取人工客服对各个候选问答信息的采纳率。
在本说明书一些实施例中,所述获取人工客服端对所述候选问答信息的采纳率,包括:
当接收到用户终端输入所述候选问答信息中的候选问题时,将所述候选问答信息中的候选答案发送至所述人工客服端;
根据所述人工客服端对所述候选答案的点击数据,确定出所述候选问答信息的采纳率。
在具体的实施过程中,当接收到用户通过用户终端输入的问题是候选问答信息中的候选问题时(可以包括与候选问题相似的问题),此时,知识库中没有该候选问题对应的答案,可以转入人工客服端进行回答。转入人工客服端后,可以将该候选问答信息中的候选答案发送至人工客服端,由人工客服判断该候选答案是否用户所需要的答案。因为不同用户对于相同的问题提问的方式也不尽相同,计算机可能无法从文字表述上判断两个用户提问的问题是否完全一致,所需的答案是否相同。而人工客服可以对候选问答信息做一个质量的验证,若人工客服认为该候选答案准确,则可以点击推送给客户,即发送至用户终端,表示该候选问答信息被采纳。若人工客服认为该候选答案不准确,则可以自己组织答案发送至用户终端,表示该候选问答信息没有被采纳。采纳率可以为人工客服对一个候选答案的点击推送的次数除以该候选答案被推送给人工客服端的总次数来确定,可以统计指定时间范围内候选问答信息被人工客服采纳的次数和被推送给人工客服的次数,确定出候选问答信息的采纳率,也可以采集各个候选问答信息被人工客服采纳的累积次数和被推送给人工客服的累积次数,以确定采纳率,具体可以根据实际需要进行设置,本说明书实施例不作具体限定。
本说明书实施例,通过推荐+点击反馈的方式验证挖掘问答对的质量,把内容运营在服务过程中用众包的方式进行了,达到了知识库的零运营,即不需要运营人员进行任何操作,直接利用智慧沟通平台的问答流程所需的人工客服对候选问答信息的采纳反馈,验证候选问答信息的有效性,实现了知识库的智能化更新维护,提高了知识库的准确性、及时性以及覆盖面。
步骤110、将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
在具体的实施过程中,利用人工客服对各个候选问答信息的反馈,确定出各个候选问答信息的采纳率后,当同一个候选问答信息被采纳的概率即采纳率大于预设阈值,则可以将该候选问答信息自动添加到知识库中,实现了对知识库的自动化更新维护。并且,利用人工客服对候选问答信息的点击反馈可以实现对候选问答信息的质量验证,而不是直接将候选问答信息推送给用户,在推送用户之前进行了一个质量的验证,可以提高候选问答信息的有效性和准确率。
图4是本说明书一个示例中知识库零运营管理的流程示意图,如图4所示,本说明书一个示例中知识库零运营管理的过程包括:1)当用户X咨询问题A,机器人即智能客服端无法回答,转人工客服解决。2)用户X与人工客服的服务记录M被存储下来,该服务记录M可以包括用户X与机器人以及人工客服的对话记录,是群聊服务记录的一种。3)从服务记录M挖掘知识库中没有的问答信息A(或问题A)。4)用户Y也咨询了问题A,将挖掘到的问答A推荐给人工客服,人工客服觉得该答案合适,点击推送给用户Y。5)问答A多次推荐给人工客服,采纳率达到一定程度验证了问答A的质量,问答A自动加入知识库。6)加入知识库的问答A,自动应用到机器人场景中。7)当用户Z也咨询问题A相似的问题,机器人可以从知识库中获取合适的答案返回给用户Z。
此外,本说明书一些实施例中还可以对添加到知识库的候选问答信息进行问题聚类,将相似的问题分为一类,以便知识库的管理、审核,聚类的方法本说明书实施例不作具体限定。
本说明书实施例提供的知识库管理方法,可以针对群聊服务场景,对于群聊用户多,角色不清晰的聊天内容进行对话响应关系的确定,再基于对话响应关系进行问答信息的挖掘,确定出候选问答信息。利用人工客服对候选问答信息的点击采纳实现对候选问答信息进行反馈验证,验证了候选问答信息的有效性,将采纳率大于预设阈值的候选问答信息添加知识库中,可以不需要运营人员参与,实现了知识库的自动更新、零运营管理。并且利用人工客服的点击反馈可以对候选问答信息进行有效性验证,提高了知识库的准确性、及时性以及覆盖面。
在上述实施例的基础上,本说明书一些实施例中,所述方法还包括:
对采纳率大于所述预设阈值的候选问答信息进行人工审核,所述人工审核包括:对所述候选问答信息进行优化;
将人工审核后的候选问答信息添加到所述知识库中。
在具体的实施过程中,在确定出采纳率大于预设阈值的候选问答信息后,还可以对该候选问答信息进行人工审核,以对候选问答信息优化如:对答案进行补充完整、对问题进行调整简化等,将人工审核后的候选问答信息添加到指示库中,以提高加入知识库的候选问答信息的准确性和有效性。此外,本说明书一些实施例中,不仅可以对采纳率大于预设阈值的候选问答信息进行人工审核,还可以直接对挖掘到的候选问答信息进行审核,审核的人员可以是运营的工作人员,实现知识库的轻运营。图5是本说明书一个示例中知识库的轻运营管理示意图,如图5所示,1)当用户X咨询问题A,机器人即智能客服端无法回答,转人工客服解决。2)用户X与人工客服的服务记录M被存储下来,该服务记录M可以包括用户X与机器人的对话记录是群聊服务记录的一种。3)从服务记录M挖掘知识库中没有的问答信息A(或问题A)。4)由运营人员在问答优化页面审核挖掘到的问答A,或对没有挖掘到答案的问题A补充答案。5)审核后的问答A加入知识库,自动应用到机器人场景中。6)当用户Y咨询问题A相似的问题,机器人可以从知识库中获取合适的答案返回给用户Y。
需要说明的是,图4、图5中的示意出的服务记录是用户、人工客服、机器人之间的聊天服务记录,实际应用时,服务记录还可以包括其他形式的群聊服务记录,如:通过社交平台建立的服务群中的群聊服务记录等,本说明书实施例不作具体限定。
在上述实施例的基础上,本说明书一个实施例中,当群聊服务记录中包括用户终端与智能客服端的对话记录,所述确定所述群聊服务记录中对话记录的对话响应关系时,所述方法还可以包括:
在接收到更新后的知识库中的问题信息时,将所述问题信息发送至所述智能客服端,以使得所述智能客服端从所述知识库中选取对应的答案信息返回至所述用户终端。
在具体的实施过程中,如图4、图5所示,在知识库更新后,当接收到更新后的知识库中存在的问题信息(包括相似的问题)时,可以将该问题信息直接发送至智能客服端,智能客服端即可以从知识库中获取到对应的答案信息返回至用户终端,提高了智能问答的准确性和效率。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
基于上述所述的知识库管理方法,本说明书一个或多个实施例还提供一种用于知识库管理的系统。所述系统可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参考前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图6是本说明书提供的知识库管理装置一个实施例的模块结构示意图,如图6所示,本说明书中提供的知识库管理装置可以包括:群聊记录获取模块61、响应关系确定模块62、问答信息挖掘模块63、客服反馈模块64、知识库更新模块65,其中:
群聊记录获取模块61,可以用于获取群聊服务记录;
响应关系确定模块62,可以用于确定所述群聊服务记录中对话记录的对话响应关系;
问答信息挖掘模块63,可以用于确定所述群聊服务记录中对话记录的对话响应关系挖掘知识库中未存储的候选问答信息;
客服反馈模块64,可以用于获取人工客服端对所述候选问答信息的采纳率;
知识库更新模块65,可以用于将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
本说明书实施例提供的知识库管理装置,可以针对群聊服务场景,对于群聊用户多,角色不清晰的聊天内容进行对话响应关系的确定,再基于对话响应关系进行问答信息的挖掘,确定出候选问答信息。利用人工客服对候选问答信息的点击采纳对候选问答信息进行反馈验证,将采纳率大于预设阈值的候选问答信息添加知识库中,可以不需要运营人员进行数据处理,实现了知识库的自动更新、零运营,提高了知识库的准确性、及时性以及覆盖面。
本说明书一些实施例中,所述客服反馈模块具体用于:
当接收到所述用户终端输入所述候选问答信息中的候选问题时,将所述候选问答信息中的候选答案发送至所述人工客服端;
根据所述人工客服端对所述候选答案的点击数据,确定出所述候选问答信息的采纳率。
本说明书实施例,通过推荐+点击反馈的方式验证挖掘问答对的质量,把内容运营在服务过程中用众包的方式进行了,达到了知识库的零运营,即不需要运营人员进行任何操作,直接利用智慧沟通平台的问答流程所需的人工客服对候选问答信息的采纳反馈,验证候选问答信息的有效性,实现了知识库的智能化更新维护,提高了知识库的准确性、及时性以及覆盖面。
在上述实施例的基础上,本说明书一些实施例中,所述响应关系确定模块具体用于:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
计算所述目标语句与各个所述目标语句的上文语句之间的相似度;
根据计算出的相似度,从所述目标语句的上文语句中选取所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
本说明书实施例,通过计算群聊服务记录中各个语句与其对应的上文语句之间的相似度确定出各个语句之间的响应关系,再基于响应关系,可以准确的进行问答信息的挖掘,为后续问答信息的挖掘奠定了数据基础,实现了群聊场景角色多并且不清晰时问答信息的准确挖掘。
在上述实施例的基础上,本说明书一些实施例中,所述响应关系确定模块具体用于:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
将所述目标语句作为问题语句,利用阅读理解模型从所述上文语句中确定出所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,利用所述阅读理解模型确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
本说明书实施例,可以从群聊对话记录集合依次选择一个目标语句,将目标语句作为问题语句,将该目标语句对应的上文语句作为段落,利用阅读理解模型从上文语句中选择目标语句的响应语句。其中,目标语句和上文语句的确定方式可以参考上述实施例的记载,此处不再赘述。利用阅读理解模型可以对群聊场景中的多个角色的对话信息进行解析,快速确定出各个语句之间的响应关系,可以解决群聊场景中角色不清晰,无法确定出问题客户和解答客户时,语句之间响应关系的确定问题,为后续问答信息的挖掘奠定了数据基础。
在上述实施例的基础上,本说明书一些实施例中,所述群聊服务记录中包括用户终端与智能客服端的对话记录,所述响应关系确定模块具体用于:
从所述群聊服务记录中获取所述用户终端与所述智能客服端的智能对话记录;
从所述智能对话记录中获取所述用户终端输入的语句作为问题语句,利用阅读理解模型从所述群聊服务记录中所述用户终端与所述人工客服端的人工对话记录中确定出所述问题语句的响应语句。
本说明书实施例,结合了带有机器人这种智能客服终端场景的特点,对群聊服务记录进行分析,以准确获得群聊服务记录中各个语句之间的对话响应关系,为后续问答信息的挖掘奠定了数据基础。
需要说明的,上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述,在此不作一一赘述。
本说明书实施例还提供一种知识库管理处理设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例的信息推荐数据处理方法,如:
获取群聊服务记录;
确定所述群聊服务记录中对话记录的对话响应关系;
根据所述对话响应关系挖掘知识库中未存储的候选问答信息;
获取人工客服端对所述候选问答信息的采纳率;
将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
需要说明的,上述所述的处理设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书提供的知识库管理装置,也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或处理设备可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或处理设备的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图7是本说明书一个实施例中知识库管理服务器的硬件结构框图,该计算机终端可以是上述实施例中的知识库管理服务器或知识库管理装置。如图7所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图7中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图7所示不同的配置。
非易失性存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的知识库管理方法对应的程序指令/模块,处理器100通过运行存储在非易失性存储器200内的软件程序以及模块,从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,非易失性存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局与网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果,如:
获取群聊服务记录;
确定所述群聊服务记录中对话记录的对话响应关系;
根据所述对话响应关系挖掘知识库中未存储的候选问答信息;
获取人工客服端对所述候选问答信息的采纳率;
将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
本说明书实施例提供的上述知识库管理方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参考方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器,使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参考方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已,并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。

Claims (13)

1.一种知识库管理方法,所述方法包括:
获取群聊服务记录;
确定所述群聊服务记录中对话记录的对话响应关系;
根据所述对话响应关系挖掘知识库中未存储的候选问答信息;
获取人工客服端对所述候选问答信息的采纳率;
将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
2.如权利要求1所述的方法,所述获取人工客服端对所述候选问答信息的采纳率,包括:
当接收到用户终端输入所述候选问答信息中的候选问题时,将所述候选问答信息中的候选答案发送至所述人工客服端;
根据所述人工客服端对所述候选答案的点击数据,确定出所述候选问答信息的采纳率。
3.如权利要求1所述的方法,所述方法还包括:
对采纳率大于所述预设阈值的候选问答信息进行人工审核,所述人工审核包括:对所述候选问答信息进行优化;
将人工审核后的候选问答信息添加到所述知识库中。
4.如权利要求1所述的方法,所述确定所述群聊服务记录中对话记录的对话响应关系,包括:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
计算所述目标语句与各个所述目标语句的上文语句之间的相似度;
根据计算出的相似度,从所述目标语句的上文语句中选取所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
5.如权利要求1所述的方法,所述确定所述群聊服务记录中对话记录的对话响应关系,包括:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
将所述目标语句作为问题语句,利用阅读理解模型从所述上文语句中确定出所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,利用所述阅读理解模型确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
6.如权利要求1所述的方法,所述群聊服务记录中包括用户终端与智能客服端的对话记录,所述确定所述群聊服务记录中对话记录的对话响应关系,包括:
从所述群聊服务记录中获取所述用户终端与所述智能客服端的智能对话记录;
从所述智能对话记录中获取所述用户终端输入的语句作为问题语句,利用阅读理解模型从所述群聊服务记录中所述用户终端与所述人工客服端的人工对话记录中确定出所述问题语句的响应语句。
7.如权利要求1所述的方法,所述群聊服务记录包括用户终端、智能客服端、人工客服端之间的对话记录,所述方法还包括:
在接收到更新后的知识库中的问题信息时,将所述问题信息发送至所述智能客服端,以使得所述智能客服端从所述知识库中选取对应的答案信息返回至所述用户终端。
8.一种知识库管理装置,包括:
群聊记录获取模块,用于获取群聊服务记录;
响应关系确定模块,用于确定所述群聊服务记录中对话记录的对话响应关系;
问答信息挖掘模块,用于确定所述群聊服务记录中对话记录的对话响应关系挖掘知识库中未存储的候选问答信息;
客服反馈模块,用于获取人工客服端对所述候选问答信息的采纳率;
知识库更新模块,用于将采纳率大于预设阈值的候选问答信息添加到所述知识库中,以对所述知识库进行更新。
9.如权利要求8所述的装置,所述客服反馈模块具体用于:
当接收到用户终端输入所述候选问答信息中的候选问题时,将所述候选问答信息中的候选答案发送至所述人工客服端;
根据所述人工客服端对所述候选答案的点击数据,确定出所述候选问答信息的采纳率。
10.如权利要求8所述的装置,所述响应关系确定模块具体用于:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
计算所述目标语句与各个所述目标语句的上文语句之间的相似度;
根据计算出的相似度,从所述目标语句的上文语句中选取所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
11.如权利要求8所述的装置,所述响应关系确定模块具体用于:
获取所述群聊服务记录中的群聊对话记录集合;
在所述群聊对话记录集合中依次选取目标语句以及所述目标语句的上文语句;
将所述目标语句作为问题语句,利用阅读理解模型从所述上文语句中确定出所述目标语句的响应语句;
选取所述目标语句的下一句语句作为新的目标语句,利用所述阅读理解模型确定出所述新的目标语句的响应语句,直至所述群聊对话记录集合中的语句选取完毕。
12.如权利要求8所述的装置,所述群聊服务记录中包括用户终端与智能客服端的对话记录,所述响应关系确定模块具体用于:
从所述群聊服务记录中获取所述用户终端与所述智能客服端的智能对话记录;
从所述智能对话记录中获取所述用户终端输入的语句作为问题语句,利用阅读理解模型从所述群聊服务记录中所述用户终端与所述人工客服端的人工对话记录中确定出所述问题语句的响应语句。
13.一种知识库管理处理设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。
CN202010302438.0A 2020-04-17 2020-04-17 知识库管理方法、装置及处理设备 Active CN111459917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010302438.0A CN111459917B (zh) 2020-04-17 2020-04-17 知识库管理方法、装置及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010302438.0A CN111459917B (zh) 2020-04-17 2020-04-17 知识库管理方法、装置及处理设备

Publications (2)

Publication Number Publication Date
CN111459917A true CN111459917A (zh) 2020-07-28
CN111459917B CN111459917B (zh) 2023-02-28

Family

ID=71686004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010302438.0A Active CN111459917B (zh) 2020-04-17 2020-04-17 知识库管理方法、装置及处理设备

Country Status (1)

Country Link
CN (1) CN111459917B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887246A (zh) * 2021-10-19 2022-01-04 京东科技信息技术有限公司 客服领域人机方案一致性检测的方法、装置及存储介质
CN115146043A (zh) * 2022-06-29 2022-10-04 阿里巴巴(中国)有限公司 数据处理方法、装置、设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04346132A (ja) * 1991-05-24 1992-12-02 Nec Corp 知識ベース利用装置
CN106716933A (zh) * 2016-11-10 2017-05-24 深圳达闼科技控股有限公司 消息处理方法、装置和电子设备
CN108038748A (zh) * 2017-11-30 2018-05-15 苏宁云商集团股份有限公司 用于辅助应答交互界面显示方法及设备
CN108415980A (zh) * 2018-02-09 2018-08-17 平安科技(深圳)有限公司 问答数据处理方法、电子装置及存储介质
CN110188205A (zh) * 2019-05-08 2019-08-30 三角兽(北京)科技有限公司 一种智能客服系统知识库的更新方法及装置
CN110390109A (zh) * 2019-07-29 2019-10-29 阿里巴巴集团控股有限公司 分析多条群聊消息间关联关系的方法和装置
CN110413744A (zh) * 2019-06-17 2019-11-05 阿里巴巴集团控股有限公司 即时通讯过程中的对话消息处理方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04346132A (ja) * 1991-05-24 1992-12-02 Nec Corp 知識ベース利用装置
CN106716933A (zh) * 2016-11-10 2017-05-24 深圳达闼科技控股有限公司 消息处理方法、装置和电子设备
CN108038748A (zh) * 2017-11-30 2018-05-15 苏宁云商集团股份有限公司 用于辅助应答交互界面显示方法及设备
CN108415980A (zh) * 2018-02-09 2018-08-17 平安科技(深圳)有限公司 问答数据处理方法、电子装置及存储介质
CN110188205A (zh) * 2019-05-08 2019-08-30 三角兽(北京)科技有限公司 一种智能客服系统知识库的更新方法及装置
CN110413744A (zh) * 2019-06-17 2019-11-05 阿里巴巴集团控股有限公司 即时通讯过程中的对话消息处理方法、装置及设备
CN110390109A (zh) * 2019-07-29 2019-10-29 阿里巴巴集团控股有限公司 分析多条群聊消息间关联关系的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887246A (zh) * 2021-10-19 2022-01-04 京东科技信息技术有限公司 客服领域人机方案一致性检测的方法、装置及存储介质
CN115146043A (zh) * 2022-06-29 2022-10-04 阿里巴巴(中国)有限公司 数据处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN111459917B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110366734B (zh) 优化神经网络架构
CN109460514B (zh) 用于推送信息的方法和装置
CN110019616B (zh) 一种poi现势状态获取方法及其设备、存储介质、服务器
CN110765247A (zh) 一种用于问答机器人的输入提示方法及装置
CN108509339A (zh) 基于浏览器和思维导图的测试用例生成方法、装置及设备
CN111738010A (zh) 用于生成语义匹配模型的方法和装置
US20190347188A1 (en) Identifying potential errors in code using machine learning
WO2018040067A1 (zh) 用户指导系统及方法
CN111459917B (zh) 知识库管理方法、装置及处理设备
CN112905451B (zh) 应用程序的自动化测试方法及装置
CN112966076A (zh) 智能问答问题的生成方法、装置、计算机设备及存储介质
CN114490975A (zh) 用户问题的标注方法及装置
CN115757745A (zh) 基于人工智能的业务场景控制方法、系统及云平台
Bildosola et al. An approach for modelling and forecasting research activity related to an emerging technology
Khan et al. An empirical study of software requirements verification and validation techniques along their mitigation strategies
Pegoraro et al. Uncertain case identifiers in process mining: A user study of the event-case correlation problem on click data
CN114911915A (zh) 一种基于知识图谱的问答搜索方法、系统、设备和介质
US11714855B2 (en) Virtual dialog system performance assessment and enrichment
CN107729510B (zh) 信息交互方法、信息交互终端及存储介质
CN111126422A (zh) 行业模型的建立及行业的确定方法、装置、设备及介质
CN117951318A (zh) 多媒体信息的处理方法、系统和电子设备
CN111488386A (zh) 数据查询方法和装置
US20220358152A1 (en) Model performance through text-to-text transformation via distant supervision from target and auxiliary tasks
US20200342411A1 (en) Platform for training and testing users in reality-based simulated environment
CN110990528A (zh) 一种问答方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant