CN112352224A

CN112352224A - 具有模型生命周期管理的聊天机器人系统

Info

Publication number: CN112352224A
Application number: CN202080000380.2A
Authority: CN
Inventors: 吴志刚; 何嘉颖
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2020-03-13
Filing date: 2020-03-18
Publication date: 2021-02-09
Anticipated expiration: 2040-03-18
Also published as: CN112352224B

Abstract

一种用于管理聊天机器人系统中知识库(KB)生命周期的方法，包括：接收更新请求，将当前版本KB更新为新的当前版本KB。该方法还包括：从知识点(KP)操作员接收第一测试请求，确定新的当前版本KB是否通过第一测试；以及响应于新的当前版本KB通过了第一测试的确定，提交新的当前版本KB作为新的提交版本KB。该方法还包括：从KP管理者接收第二测试请求，确定新的提交版本KB是否通过第二测试；以及响应于新的提交版本KB通过第二测试的确定，将原始的投产版本KB存储为先前版本KB，提交新的提交版本KB作为新的投产版本KB。

Description

具有模型生命周期管理的聊天机器人系统

技术领域

本公开涉及聊天机器人系统，特别涉及具有模型生命周期管理(MLM，ModelLifecycle Management)的聊天机器人系统。

背景技术

聊天机器人系统，作为多种类型人工智能(AI，Artificial Intelligence)助手中的一种，可以帮助回答用户问题并提供建议、指导和/或其他有用信息。随着大数据分析、机器学习和自然语言处理(NLP，Natural Language Processing)技术的发展，聊天机器人系统在基于对用户聊天内容的分析来推断正确答案，预测下一个问题以提供聊天服务方面取得了显着进展。最近，聊天机器人系统正在扩展到处理各种操作(例如购物、订购和付款)的应用程序。

现有聊天机器人系统可能存在多种问题。例如，当系统运行期间发生故障或客户有其他要求时，快速解决问题并不容易。

本公开描述了用于向聊天机器人系统提供模型生命周期管理(MLM)的系统、方法和产品，其可以克服上述一些挑战和缺点，从而改善总体性能，特别是聊天机器人系统的知识管理和版本控制。

发明内容

本公开实施例包括用于具有模型生命周期管理(MLM)的聊天机器人系统的方法、设备和计算机可读介质。

根据本公开实施例的一方面，描述了一种用于管理聊天机器人系统中知识库(KB，Knowledge Base)生命周期的方法。该方法包括由设备接收更新请求，以及将当前版本KB更新为新的当前版本KB。该设备包括存储指令的存储器和与该存储器通信的处理器。该方法还包括由设备从知识点(KP，Knowledge Point)操作员接收第一测试请求，确定新的当前版本KB是否通过第一测试；以及响应于新的当前版本KB通过了第一测试的确定，由设备提交新的当前版本KB作为新的提交版本KB。该方法还包括：由设备从KP管理者接收第二测试请求，确定新的提交版本KB是否通过第二测试；以及响应于新的提交版本KB通过了第二测试的确定，由该设备将原始的投产版本(production-version)KB存储作为先前版本KB，并提交新的提交版本KB作为新的投产版本KB。

根据本公开实施例的一方面，描述了一种用于管理聊天机器人系统中知识库(KB)生命周期的设备。该设备包括存储指令的存储器和与该存储器通信的处理器。当处理器执行指令时，处理器被配置以使设备接收更新请求，并将当前版本的KB更新为新的当前版本的KB。当处理器执行指令时，处理器被配置以进一步使设备从KP操作员接收第一测试请求，并确定新的当前版本KB是否通过第一测试，并且响应于新的当前版本KB通过第一测试的确定，提交新的当前版本KB作为新的提交版本KB。当处理器执行指令时，处理器被配置以使设备从KP管理者接收第二测试请求，确定新的提交版本KB是否通过第二测试；以及响应于新的提交版本KB通过第二测试的确定，将原始的投产版本KB存储为先前版本KB，并提交新的提交版本KB作为新的投产版本KB。

根据本公开实施例的一方面，描述了存储指令的非暂时性计算机可读存储介质。指令在由处理器执行时，使处理器执行：接收更新请求并将当前版本KB更新为新的当前版本KB。指令在由处理器执行时，还使处理器执行：从KP操作员接收第一测试请求，确定新的当前版本KB是否通过了第一测试；以及响应于新的当前版本KB通过了第一测试的确定，提交新的当前版本KB作为新的提交版本KB。指令在由处理器执行时，使处理器执行：从KP管理者接收第二测试请求，确定新的提交版本KB是否通过第二测试；以及响应于新的提交版本KB通过了第二测试的确定，将原始的投产版本KB存储为先前版本KB，并提交新的提交版本KB作为新的投产版本KB。

上述和其他方面及其实施将在附图、说明书和权利要求书中更详细地描述。

附图说明

参考以下附图和非限制性和非穷举性实施例的描述，可以更好地理解以下描述的系统和方法。附图中的组件不必须按比例绘制。相反，重点放在说明本公开的原理上。

图1显示实施具有模型生命周期管理(MLM)的聊天机器人系统的一个示例性电子通信环境。

图2显示可用于实施图1的电子通信环境的各种组件的计算机系统。

图3显示管理聊天机器人系统中知识库(KB)生命周期的实施例流程图。

图4显示图3中步骤310的实施例流程图。

图5显示管理聊天机器人系统中模型生命周期的一个示例性表格。

图6显示图3中步骤320的实施例框图。

图7显示图3中步骤320的实施例的框图。

图8显示图6中步骤620和/或图7的720的实施例的框图。

图9显示管理聊天机器人系统中模型生命周期的另一示例性表格。

图10显示管理聊天机器人系统中模型生命周期的一个示例性行动表。

具体实施方式

现在将参考附图来描述该方法，这些附图以说明的方式显示了特定的示例性实施例。但是，该方法可以以各种不同的形式实施，因此，涵盖的或要求保护的主题旨在被解释为不限于所阐述的任何示例性实施例。该方法可以体现为方法、设备、组件或系统。因此，例如，实施例可以采用硬件、软件、固件或其任何组合的形式。

在整个说明书和权利要求书中，除了明确陈述的含义外，术语在上下文中可能具有暗示的细微含义。同样地，本文所使用的短语“在一个实施例中”或“在一些实施例中”不一定指相同的实施例，而本文所使用的短语“在另一实施例”或“在其他实施例中”也不一定指不同的实施例。本文所使用的短语“在一个实施方式中”或“在一些实施方式中”不一定指相同的实施方式，而本文所使用的短语“在另一实施方式”或“在其他实施方式中”也不一定指不同的实施方式。例如，要保护的主题全部或部分地包括示例性实施例或实施方式的组合。

通常，可以至少部分地根据上下文中的使用来理解术语。例如，本文所使用的诸如“和”、“或”或“和/或”之类的术语可以包括多种含义，其可以至少部分地取决于使用这些术语的上下文。通常，“或”(如果用于关联列表，例如A、B或C)的用意是指A、B和C(此处以包含性含义使用)以及A、B或C(此处以排他性含义使用)。另外，本文使用的术语“一个或多个”或“至少一个”至少部分地取决于上下文，可用于描述单数形式的任何特征、结构或特性，或可用于描述复数形式的特征、结构或特性的组合。类似地，诸如“一”、“一个”或“该”之类的术语也可以理解为传达单数用法或传达复数用法，至少部分地取决于上下文。另外，术语“基于”或“由...确定”可以理解为不一定意图传达唯一的一组因素，而是可以至少部分地取决于上下文，允许存在不一定必须明确描述的其他因素。

本公开描述了用于具有模型生命周期管理(MLM)的聊天机器人系统管理的系统、方法和设备。

聊天机器人系统可以采用智能算法在后台工作，以帮助用户进行查询并提供建议、指导和其他有用信息。随着大数据分析、机器学习和自然语言处理技术的最新发展，聊天机器人系统可以基于对用户聊天内容的分析来推断正确答案，预测下一个问题以提供聊天服务，并且可以扩展到处理各种操作的应用，例如购物、订购和付款。

聊天机器人系统可能会有一些状况和/或问题，可以解决这些问题以提高聊天机器人系统的性能并减轻聊天机器人系统的管理困难/负担。状况和/或问题可能包括：服务所有者需要以聊天机器人系统所理解的语法方式在知识点中解析每个问题，这个问题不太容易处理，因为服务所有者通常是普通的非技术用户。例如，服务所有者可能不知道如何解析每个问题和/或定义知识点(KP)中的条目。状况和/或问题还可以包括：服务所有者需要针对单个知识点输入多个问题(如可能是数百或数千个问题)。例如，当有成千上万的KP时，服务所有者可能需要回答数不清的问题。状况和/或问题可能还包括：当有许多KP时，服务所有者需要定义复杂流程。状况和/或问题可能还包括：对于KP的任何改变，服务所有者可能都只有很少的版本控制，尤其是在部署到生产环境之后。例如，当知识点发生任何变化时，服务所有者可能难以修改/控制/更新聊天机器人系统的已部署知识库。再举一个例子，当所部署的投产版本中存在错误时，服务所有者可能没有简单的方法来解决这些错误。再举一个例子，当服务所有者在系统运行期间发生故障或客户端产生其他要求时，服务所有者很难快速解决故障。

本公开描述了用于具有模型生命周期管理(MLM)的聊天机器人系统的设备、方法和系统的实施例，用于解决上述状况和/或问题中的至少一个，从而提高聊天机器人系统的性能。

本公开描述了具有MLM的聊天机器人系统的实施例，以便服务所有者可以以非常简单的格式管理他/她自己的知识库，以维护聊天机器人服务，和/或在系统发生故障时立即轻松地自己管理聊天机器人系统。使用带有MLM的聊天机器人系统，服务所有者可能只需要为单个KP输入几个问题，可能不需要定义对话流，和/或可以在部署新KP和/或KB之前和之后具有版本控制权。

图1显示一个示例性电子通信环境100，在其中可以实施有MLM的聊天机器人系统。电子通信环境100可以包括MLM聊天机器人系统110。在其他实施中，聊天机器人系统110可以被实施为中央服务器或分布在通信网络中的多个服务器。

电子通信环境100还可以包括以下部分或全部：一个或多个数据库120、一个或多个自然语言处理(NLP)服务器130、与一个或多个用户(142、172和182)相关联的一个或多个用户设备(或终端140、170和180)、一个或多个应用程序服务器150、一个或多个语音识别引擎(SRE，Speech Recognition Engine)服务器160。上述组件中的任何一个都可以通过公共或专用通信网络相互直接通信，以便它们可以彼此通信而无需通过第三方。例如但不限于，数据库120可以与NLP服务器130通信，而无需经由MLM聊天机器人系统110。

参见图1，一个或多个客户端158可以通过任何类型的通信系统(如互联网155)与应用服务器150进行通信。客户端158可以通过应用服务器150向聊天机器人系统发送查询。客户端158可以包括但不限于移动应用程序、网站界面、即时通讯程序(IM)。

图1显示MLM的聊天机器人系统在不同于数据库、NLP服务器、SRE服务器或应用服务器的服务器上的实施。在其他实施方式中，MLM聊天机器人系统、一个或多个数据库、一个或多个NLP服务器、一个或多个SRE服务器、和/或一个或多个应用服务器可以被实施或安装在单个计算机系统上，或者在包含多个计算机系统的一个服务器上，或者在包含多个计算机系统的多个分布式服务器上，或者在一个或多个基于云的服务器或计算机系统上。

用户设备/终端(140、170和180)可以是任何形式的移动或固定电子设备，包括但不限于台式个人计算机、膝上型计算机、平板电脑、移动电话、个人数字助理等。用户设备/终端可以安装有一个用户界面，以访问MLM聊天机器人系统。

数据库可以托管在中央数据库服务器中、多个分布式数据库服务器中、或基于云的数据库主机中。数据库120可以被配置以存储中间数据和/或最终结果，用于实施MLM聊天机器人系统，例如但不限于各种版本的知识点和/或各种版本的知识库。

图2显示一个示例性设备，如计算机系统200，用于实施MLM聊天机器人系统110、应用服务器150、或用户设备(140、170和180)。计算机系统200可以包括通信接口202、系统电路204、输入/输出(I/O)接口206、存储器209和显示电路208，它产生本地或用于远程显示的机器接口210，例如在本地或远程机器上运行的网络浏览器。机器接口210和I/O接口206可以包括GUI、触敏显示器、语音输入、按钮、开关、扬声器和其他用户界面元素。I/O接口206的其他示例包括麦克风、视频和静态图像相机、耳机和麦克风输入/输出插孔、通用串行总线(USB)连接器、存储卡插槽、以及其他类型的输入。I/O接口206还可以包括键盘和鼠标接口。

通信接口202可以包括无线发射器和接收器(“收发器”)212以及收发器212的发射和接收电路使用的任何天线214。例如，收发器212和天线214可以支持任何版本的IEEE802.11(例如802.11n或802.11ac)下的Wi-Fi网络通信。收发器212和天线214可以支持移动网络通信，例如3G、4G和5G通信。通信接口202还可包括有线收发器216，例如，以太网通信。

存储器209可用于存储各种初始、中间或最终数据或模型，以用于实施MLM聊天机器人系统。这些数据语料库可以可替代地存储在图1的数据库120中。在一种实施方式中，计算机系统200的存储器209可以与图1的数据库120集成在一起。存储器209可以是集中式的或分布式的，可以相对于计算机系统200是本地的或远程的。例如，存储器209可以由云计算服务提供商远程托管。

系统电路204可以包括任何组合的硬件、软件、固件或其他电路。例如，系统电路204可以利用一个或多个芯片上系统(SoC，Systems on a Chip)、专用集成电路(ASIC，Application Specific Integrated Circuits)、微处理器、离散模拟和数字电路以及其他电路来实施。

例如，系统电路204可以被实施为220，用于图1的MLM的聊天机器人系统110。MLM聊天机器人系统的系统电路220可以包括一个或多个处理器221和存储器222。存储器222存储例如控制指令226和操作系统224。控制指令226例如可以包括用于实施MLM聊天机器人系统的组件228的指令。在一个实施中，指令处理器221执行控制指令226和操作系统224以执行与MLM聊天机器人系统有关的任何期望功能。

同样，对于图1的用户设备120、140和180，系统电路204可以实施为240。用户设备的系统电路240可以包括一个或多个指令处理器241和存储器242。存储器242存储例如控制指令246和操作系统244。用户设备的控制指令246可以包括用于实施与MLM聊天机器人系统的通信接口的指令。在一种实施中，指令处理器241执行控制指令246和操作系统244以执行与用户设备有关的任何期望功能。

参见图3，本公开描述了用于管理聊天机器人系统中的知识库(KB)的生命周期的方法300的实施例。聊天机器人系统可以是一个具有模型生命周期管理(MLM)的聊天机器人系统。方法300可以由图2所示的设备来实施。方法300可以包括以下步骤的一部分或全部：步骤310：由包括存储指令的存储器和与该存储器通信的处理器的设备，接收更新请求，并将聊天机器人系统中当前版本的KB更新为新的当前版本KB；步骤320：由该设备从服务操作员(或KP操作员或操作员)接收第一测试请求，并确定所述新的当前版本KB是否通过了第一测试；步骤330：响应于新的当前版本KB通过了第一测试的确定，由该设备提交新的当前版本KB作为新的提交版本KB；步骤340：由该设备从服务管理着(或KP管理者或管理者)接收第二测试请求，并确定新的提交版本KB是否通过第二测试；步骤350：响应于新的提交版本KB通过了第二测试的确定，由该设备存储原始的投产版本KB作为上一个版本KB，并提交所述新的提交版本KB作为新的投产版本KB。聊天机器人系统可能会妥善存储KB的上一个版本，因此，当出现任何问题时，聊天机器人系统可以还原到其原始KB版本。问题可能包括但不限于与新的投产版本KB相关的运行错误。

参见步骤310，设备可以从服务所有者接收更新请求，并将当前版本知识库(KB)更新为新的当前版本KB。一个知识库KB可以包含一个或多个知识点(KP，Knowledge Points)。在一种实施方式中，KB可以包括数百甚至数千个KP。根据更新请求，聊天机器人系统的当前版本KB可以被更新，并且更新后的KB可以被称为新的当前版本KB。在另一实施方式中，在更新当前版本KB之前，聊天机器人系统可以存储当前版本KB，因此，如果更新的KB有任何问题，KB操作者仍可以在第一测试之前的任何时间修改/更新当前版本KB。

更新请求可以包括以下请求：修改一个或多个现有KP，添加一个或多个新KP，删除一个或多个现有KP，或任何可能的组合。

在一种实施中，服务所有者可以包括KP操作员。KP操作员可能不是技术人员，但具有KP知识以及有关在聊天机器人系统上管理和/或更新KP的技能。在另一实施方式中，服务所有者可以包括KP管理者。KP管理者可以是管理聊天机器人系统运行的非技术人员，他们可能几乎没有或仅有很少的聊天机器人系统技术培训。

参见图4，步骤310可以包括以下步骤的一部分或全部：步骤410：由设备接收一个原始数据集；步骤420：由设备根据至少一个术语、问题和答案以及标签，基于原始数据集建立第一组知识点；步骤430：由设备将所述第一组知识点发送给自然语言处理服务器，进行域学习和论证，以使所述NLP服务器被配置以基于所述第一组知识点获得一个提取结果；步骤440：由设备根据提取结果更新第一组知识点，获得第二组知识点；步骤450：由设备更新第二组知识点中每个问答的元数据；步骤460：由设备将第二组知识点和对应的元数据存储到数据库中；步骤470：由设备基于第二组知识点，将当前版本KB更新为新的当前版本KB。

参见步骤410，设备可以接收一个原始数据集。原始数据集可以包括电子表格文件(如Excel文件)，该电子表格文件包括一个或多个问题和答案。根据更新请求，这一个或多个问题和答案可以修改一个或多个现有KP，添加一个或多个新KP，或删除一个或多个KP。图5显示基于原始数据集的包括一个或多个知识点的一个示例表格500。表格500可以包括多个条目560，每个条目可以包括至少一个等级-1主题(T1)510、等级-2主题(T2)520、问题530、和该问题的答案540。T1 510是比T2 520更高级别的标签，表示T1具有比T2更大的范围。例如，T1可以是“菜单”，而T2可以是子菜单，例如“蛋糕”子菜单。

参见步骤420，设备可以根据至少一个术语、问题和答案、以及标签，基于原始数据集来构建第一组知识点。参见步骤430，设备可以将第一组知识点发送到自然语言处理(NLP)服务器以用于域学习和论证，使得NLP服务器被配置以基于第一组知识点获得提取结果。参见步骤440，设备可以基于提取结果来更新第一组知识点以获得第二组知识点。例如，当原始问题是“XYZ是什么？”时，一个论证可以包括一个或多个相关问题，包括但不限于“告诉我有关XYZ？”、“XYZ是什么意思？”或“任何关于XYZ的信息？”。

参见步骤450，设备可以更新第二组知识点中每个问题和答案的元数据。参见步骤460，设备可以将第二组知识点和对应的元数据存储到数据库。参见步骤470，设备可以基于第二组知识点将当前版本KB更新为新的当前版本KB。

参见图3中的步骤320，设备可以从KP操作员接收第一测试请求。第一测试请求可以指示聊天机器人系统执行第一测试。设备可以对新的当前版本KB执行第一测试，并确定新的当前版本KB是否通过第一测试。

在一个实施例中，步骤320可以包括以下步骤的一部分或全部：步骤610：由设备从KP操作员接收问题；步骤620：由设备根据新的当前版本知识库，返回该问题的答案；步骤630：由设备从KP操作员接收是否需要改变答案的第一确定；步骤640：响应于接收的需要改变答案的第一确定，由设备找到相关的问题作为该问题；步骤650：由设备从KP操作员接收是否需要将该问题添加到答案中的第二确定；步骤660：响应于接收到的需要将问题添加到答案中的第二确定，由设备将该问题添加到答案中；步骤670：由设备确定是否需要继续进行第一测试；步骤680：响应于确定有必要继续进行第一测试，由设备重复从KP操作员接收问题的步骤；步骤690：响应于确定没有必要继续第一测试，由设备确定新的当前版本KB通过了第一测试。

参见图6中的步骤610，KP操作员可以向聊天机器人系统输入问题。问题可以是KP操作员用来测试与新的当前版本KB相关的任何技术错误的问题。参考图6中的步骤620，从KP操作员接收到问题之后，聊天机器人系统可以返回对该问题的答案。聊天机器人系统可以将答案发送给用户设备，显示答案给KP操作员。

参见图6中的步骤630，KP操作员可以确定是否需要改变答案，这可以称为第一确定。KP操作员可以将第一确定发送到聊天机器人系统。参见图6中的步骤640，响应于接收到需要改变答案的第一确定，聊天机器人系统可以找到相关问题，并使用该相关问题来代替先前的问题。响应于接收到不需要改变答案的第一确定，步骤630可以直接行进到步骤650。

参见图6中的步骤650，KP操作员可以进一步确定是否有必要将问题添加到答案，这可以称为第二确定。KP操作员可以将第二确定发送到聊天机器人系统。参见图660中的步骤660，响应于接收到的必须将问题添加到答案的第二个确定，聊天机器人系统可以将问题添加到答案。响应于接收到的不必将问题添加到答案的第二确定，步骤650可以行进到步骤670。

参见图6中的步骤670，聊天机器人系统可以确定是否有必要继续第一测试。在一个实施中，可以有一个不小于1的预设重复阈值N，当重复次数小于该预设重复阈值时，聊天机器人系统可以确定有必要继续进行第一测试。当当前重复次数不小于该预设重复阈值时，聊天机器人系统可以确定不需要继续第一测试。在另一实施中，聊天机器人系统可以从KP操作员接收指令来决定是否满足条件。当满足条件时，聊天机器人系统可以确定不需要继续进行第一测试。当不满足条件时，聊天机器人系统可以确定有必要继续进行第一测试。

参见图6中的步骤680，响应于有必要继续第一测试的确定，聊天机器人系统可以再次重复，即重新开始步骤610：从KP操作员接收另一个问题。

参见图6中的步骤690，响应于没有必要继续第一测试的确定，聊天机器人系统可以确定新的当前版本KB通过了第一测试。

参见图3中的步骤330，响应于新的当前版本KB通过了第一测试的确定，设备可以将新的当前版本KB提交作为新的提交版本KB。

参见图3中的步骤340，设备可以从KP管理者接收第二测试请求。第二测试请求可以指示聊天机器人系统执行第二测试。设备可以对新的提交版本KB执行第二测试，并确定新的提交版本KB是否通过第一测试。

在一个实施例中，步骤340可以包括以下步骤的一部分或全部：步骤710：由设备从KP管理者接收问题；步骤720：由设备根据新的提交版本KB返回该问题的答案；步骤730：由设备从KP管理者接收是否需要改变答案的第一确定；步骤750：由设备从KP管理者接收是否需要将问题添加到答案的第二确定；步骤770：由设备确定是否需要继续第二测试；步骤780：响应于确定有必要继续第二测试，由设备重复从KP管理者接收问题的步骤；步骤790：响应于确定没有必要继续第二测试，由设备确定新的提交版本KB通过了第二测试。在一个实施方式中，可能不允许KP管理者更改/更新提交版本KB，因为对于这些更改/更新没有进一步的测试/验证步骤。可选地，在另一实施方式中，该步骤可以包括步骤740：响应于接收到的需要改变答案的第一确定，由设备找到一个相关的问题作为该问题；步骤760：响应于接收到的需要将问题添加到答案的第二确定，由设备将问题添加到答案中。

参见图7中的步骤710，KP管理者可以向聊天机器人系统输入问题。该问题可能是KP管理者用来测试与新的提交版本KB相关的任何内容/信息错误的问题。参见图7中的步骤720，一旦从KP管理者接收到问题，聊天机器人系统可以返回对该问题的答案。聊天机器人系统可以将答案发送到用户设备，将答案显示给KP管理者。

参见图7中的步骤730，KP管理者可以确定是否需要改变答案，这可以称为第一确定。KP管理者可以将第一确定发送到聊天机器人系统。响应于接收到的不需要改变答案的第一确定，步骤730可以行进到步骤750。可选地，在另一实施中，参见图7中的步骤740，响应于接收到的需要改变答案的第一确定，聊天机器人系统可以找到相关的问题，并使用该相关的问题来代替先前的问题。

参见图7中的步骤750，KP管理者可以进一步确定是否有必要将问题添加到答案，这可以称为第二确定。KP管理者可以将第二确定发送到聊天机器人系统。响应于接收到的没有必要将问题添加到答案的第二确定，步骤750可以行进到步骤770。可选地，在另一实施例中，参见图7中的步骤760，响应于接收到的需要将问题添加到答案的第二个确定，聊天机器人系统将问题添加到答案。

参见图7中的步骤770，聊天机器人系统可以确定是否有必要继续第二测试。在一个实施中，可以有一个不小于1的预设重复阈值N，当重复次数小于该预设重复阈值时，聊天机器人系统可以确定有必要继续第二测试。当当前重复次数不小于预设重复阈值时，聊天机器人系统可以确定不需要继续第二测试。在另一实施中，聊天机器人系统可以从KP管理者接收指令，以确定是否满足条件。当满足条件时，聊天机器人系统确定没有必要继续第二测试。当不满足条件时，聊天机器人系统确定有必要继续第二测试。

参见图7中的步骤780，响应于确定有必要继续第二测试，聊天机器人系统可以再次重复，即重新开始步骤710：从KP管理者接收另一个问题。

参见图7中的步骤790，响应于确定没有必要继续第二测试，聊天机器人系统可以确定新的提交版本KB通过第二测试。

参见图3中的步骤350，根据新的提交版本KB通过了第二测试的确定，设备可以将原始的投产版本KB存储为上一版本KB，并将新的提交版本KB作为新的投产版本KB发布/推广。由于原始的投产版本KB被系统存储为上一版本KB，因此当新的投产版本KB出现任何问题时，KP管理者可以选择恢复到聊天机器人系统的上一版本/状态。

在另一个实施例中，图3中的方法300还可以包括：由设备确定新的投产版本KB是否有问题；响应于新的投产版本KB有问题的确定，由设备用存储的先前版本KB替换新的投产版本KB。

在另一个实施例中，参见图8，步骤620和/或步骤720还可以包括以下步骤的一部分或全部：步骤810：由设备确定问题是否有不雅用语或是负面的；步骤815：响应于确定该问题有不雅用语或是负面的，设备获得对不雅用语或负面问题的一个响应；步骤820：响应于确定问题没有不雅用语并且不是负面的，由设备基于新的当前版本KB确定是否找到与该问题的精确匹配；步骤830：响应于确定未找到与该问题的精确匹配，由设备基于新的当前版本KB确定是否找到与该问题相关的上下文；步骤840：响应于确定未找到该问题的相关上下文，由设备基于新的当前版本KB确定是否找到与该问题匹配的标签；步骤850：响应于确定未找到与该问题匹配的标签，由设备基于新的当前版本KB确定是否找到与该问题匹配的域；步骤860：响应于确定找到与该问题匹配的域，由设备基于新的当前版本KB对该问题进行匹配，以及步骤870：响应于确定未找到与该问题匹配的域，由设备基于新的当前版本KB找到与该问题相关的主题；步骤880：由设备构造该问题的答案。

图9显示描述动态对话框构建器的一个示例表格900。聊天机器人系统可以根据用户基于知识点的查询动态地定义一个流程。表格900可以包括多个条目960，每个条目可以包括至少一个等级-1主题(T1)910、等级-2主题(T2)912、等级-3主题(T3)914、等级-n主题(T(n))916、问题930、和问题的答案940。T2 912是T1 910的子主题；T3 914是T2的子主题；T(n)是T3的下一层或多层子主题。

在一个实施方式中，参见步骤840，聊天机器人系统可以搜索不同级别的标签以匹配问题，搜索顺序可以是从较高级别到较低级别，例如，按照T1、T2、T3等的顺序。

在一个实施中，参见步骤850，聊天机器人系统搜索各种域以匹配该问题。例如，聊天机器人系统可以对有关“餐桌预订”的问题返回域“餐厅”。另一个示例，聊天机器人系统可以针对有关“最新促销”的问题返回“餐厅”和“银行”。

在一些实施例中，图10显示管理KP生命周期的一个示例性行动表格1000。行动表格1000可以包括动作列1010、当前版本KB 1020、提交版本KB 1030、投产版本KB 1040、和先前版本KB 1050。

参见行动表格1000中的条目1061，KP操作员可以添加新的一组KP(集合A)作为新的当前版本KB。KP的集合A可以包括KP#1、KP#2和KP#3。

参见行动表格1000中的条目1063，响应于新的当前版本KB通过了第一测试的确定，KP操作员可以提交该包括集合A的新的当前版本KB作为新的提交版本KB。

参见行动表格1000中的条目1065，响应于新的提交版本KB通过第二测试的确定，KP管理者可以通过提交包括集合A的新的提交版本KB来批准更改，作为新的投产版本KB。因此，在条目1061、1063和1065的动作之后，聊天机器人系统包括包含集合A的投产版本KB。

参见行动表格1000中的条目1067，KP操作员可以将另一组KP(集合B)添加到当前版本KB，将当前版本KB更新为新的当前版本KB。KP的集合B可以包括KP#4和KP#5。新的当前版本KB可以包括集合A和集合B。

参见行动表格1000中的条目1069，响应于新的当前版本KB通过了第一测试的确定，KP操作员可以提交包括集合A和集合B的新的当前版本KB作为新的提交版本KB。

参见行动表格1000中的条目1071，响应于新的提交版本KB通过了第二测试的确定，KP管理者可以通过以下方式批准更改：存储先前投产版本KB作为上一版本KB，并提交其中包括集合A和集合B的新的提交版本KB，作为新的投产版本KB。因此，在条目1061-1071的动作之后，聊天机器人系统包括包含集合A和集合B的投产版本KB。

参见行动表格1000中的条目1073，KP操作员可以修改当前版本KB中的集合A，并将当前版本KB更新为新的当前版本KB。对集合A的修改可以包括KP#2的改变和KP#3的删除。新的当前版本KB可以包括修改后的集合A和集合B。

参见行动表格1000中的条目1075，响应于新的当前版本KB通过了第一测试的确定，KP操作员可以提交包括修改后的集合A和集合的新的当前版本KB作为新的提交版本KB。

参见行动表格1000中的条目1077，响应于新的提交版本KB未通过第二测试的确定，KP管理者可以拒绝更改。当更改被拒绝时，聊天机器人系统可以恢复提交版本KB和当前版本KB。例如，提交版本KB和当前版本KB可以由投产版本KB代替。在这种情况下，它可以返回条目1071的状态，就像集合A中没有任何更改一样。

通过前述实施例的描述，本领域技术人员可以理解，根据前述实施例的方法可以仅通过硬件实现、或可以通过软件和必要的通用硬件平台实现。但是，在大多数情况下，首选使用软件和必要的通用硬件平台。基于这种理解，本质上本公开的技术方案或者对现有技术有贡献的部分可以以软件产品的形式实现。计算机软件产品存储在存储介质(如ROM/RAM、磁盘或光盘)中，包含一些指令用于指示终端设备(可能是移动电话、计算机、服务器、网络设备等)执行本公开实施例中描述的方法。

尽管已经参考说明性实施例描述了该特定发明，但是该描述并不是限制性的。根据该描述，示例性实施例和附加实施例的各种修改对于本领域的普通技术人员将是显而易见的。本领域技术人员将容易认识到，在不脱离本发明的精神和范围的情况下，可以对本文示出和描述的示例性实施例进行这些和各种其他修改。因此，可以预期，所附权利要求将覆盖任何这样的修改和替代实施例。图中的某些比例可能被放大，而其他比例可能被最小化。因此，本公开和附图应被认为是说明性而非限制性的。

Claims

1.一种管理聊天机器人系统中知识库(KB)生命周期的方法，所述方法包括：

由设备接收更新请求，并将当前版本KB更新为新的当前版本KB，所述设备包括存储有指令的存储器和与所述存储器通信的处理器；

由所述设备从知识点(KP)操作员接收第一测试请求，并确定所述新的当前版本KB是否通过了第一测试；

响应于所述新的当前版本KB通过了所述第一测试的确定，所述设备提交所述新的当前版本KB作为新的提交版本KB；

由所述设备从KP管理者接收第二测试请求，并确定所述新的提交版本KB是否通过第二测试；以及

响应于所述新的提交版本KB通过了所述第二测试的确定，所述设备存储原始的投产版本KB作为先前版本KB，并提交所述新的提交版本KB作为新的投产版本KB。

2.根据权利要求1所述的方法，其中所述新的当前版本KB包括一个或多个知识点。

3.根据权利要求1所述的方法，还包括：

由所述设备确定所述新的投产版本KB是否有问题；以及

响应于所述新的投产版本KB有问题的确定，所述设备用所述存储的先前版本的KB替换所述新的投产版本KB。

4.根据权利要求1所述的方法，其中接收所述更新请求并将所述当前版本KB更新为新的当前版本KB，包括：

由所述设备接收原始数据集；

由所述设备根据至少一个术语、问题和答案以及标签，基于所述原始数据集建立第一组知识点；

由所述设备将所述第一组知识点发送给自然语言处理(NLP)服务器进行域学习和论证，所述NLP服务器被配置以基于所述第一组知识点获得提取结果；

由所述设备根据所述提取结果更新所述第一组知识点，得到第二组知识点；

由所述设备更新所述第二组知识点中每个问题和答案的元数据；

由所述设备将所述第二组知识点和对应的元数据存储到数据库中；

由所述设备基于所述第二组知识点将所述当前版本KB更新为新的当前版本KB。

5.根据权利要求1所述的方法，其中确定所述新的当前版本KB是否通过所述第一测试包括：

由所述设备从所述KP操作员接收问题；

由所述设备根据所述新的当前版本KB返回所述问题的答案；

由所述设备从所述KP操作员接收是否需要改变所述答案的第一确定；

响应于接收到需要改变所述答案的第一确定，由所述设备找到一个相关的问题作为所述问题；

由所述设备从所述KP操作员接收第二确定，确定是否需要将所述问题添加到所述答案；

响应于接收到需要将所述问题添加到所述答案的第二确定，由所述设备将所述问题添加到所述答案；

由所述设备确定是否需要继续所述第一测试；

响应于确定需要继续第一测试，由所述设备重复从所述KP操作员接收问题的步骤；

响应于确定不需要继续所述第一测试，由所述设备确定所述新的当前版本KB通过了所述第一测试。

6.根据权利要求5所述的方法，其中基于所述新的当前版本KB返回答案，包括：

由所述设备确定所述问题是否有不雅用语或是负面的；

响应于确定所述问题有不雅用语或是负面的，由所述设备获得对不雅用语问题的响应；

响应于确定所述问题没有不雅用语并且不是负面的：

由所述设备基于所述新的当前版本KB确定是否找到所述问题的精确匹配，

响应于确定没有找到所述问题的精确匹配，由所述设备基于所述新的当前版本KB确定是否找到与所述问题有关的上下文，

响应于确定未找到与所述问题相关的上下文，由所述设备基于所述新的当前版本KB确定是否找到与所述问题匹配的标签，

响应于确定未找到与所述问题匹配的标签，由所述设备基于所述新的当前版本KB确定是否找到与所述问题匹配的域，

响应于确定找到了与所述问题匹配的域，由所述设备基于所述新的当前版本KB对所述问题进行匹配，

响应于确定未找到与所述问题匹配的域，由所述设备基于所述新的当前版本KB查找与所述问题相关的主题；

由所述设备构造所述问题的答案。

7.根据权利要求1所述的方法，其中确定所述新的提交版本KB是否通过所述第二测试包括：

由所述设备从所述KP管理者接收问题；

由所述设备根据所述新的提交版本KB返回所述问题的答案；

由所述设备从所述KP管理者接收是否需要改变所述答案的第一确定；

响应于从所述KP管理者接收的需要改变答案的第一确定，由所述设备改变所述答案；

由所述设备从所述KP管理者接收是否需要将所述问题添加到所述答案的第二确定；

响应于从所述KP管理者接收的需要将所述问题添加到所述答案的第二确定，由所述设备将所述问题添加到所述答案；

由所述设备确定是否需要继续所述第二测试；

响应于确定需要继续第二测试，由所述设备重复从所述KP管理者接收问题的步骤；

响应于确定不需要继续所述第二测试，由所述设备确定所述新的提交版本KB通过了所述第二测试。

8.一种用于管理聊天机器人系统中知识库(KB)生命周期的设备，所述设备包括：

存储指令的存储器；和

与所述存储器通信的处理器，其中，当所述处理器执行所述指令时，

所述处理器被配置以使所述设备：

接收更新请求，并将当前版本的KB更新为新的当前版本的KB，

从知识点(KP)操作员接收第一测试请求，并确定所述新的当前版本KB是否通过了第一测试，

响应于所述新的当前版本KB通过了所述第一测试的确定，提交所述新的当前版本KB作为新的提交版本KB；

从KP管理者接收第二测试请求，并确定所述新的提交版本KB是否通过第二测试；以及

响应于所述新的提交版本KB通过了第二测试的确定，将原始的投产版本KB存储为先前版本KB，并提交所述新的提交版本KB作为新的投产版本KB。

9.根据权利要求8所述的设备，其中所述新的当前版本KB包括一个或多个知识点。

10.根据权利要求8所述的设备，其中，当所述处理器执行所述指令时，所述处理器被配置以进一步使所述设备：

确定所述新的投产版本KB是否存在问题；以及

响应于所述新的投产版本KB存在问题的确定，将所述新的投产版本KB替换为存储的所述先前版本KB。

11.根据权利要求8所述的设备，其中，当所述处理器被配置以使所述设备接收所述更新请求并将所述当前版本KB更新为所述新的当前版本KB时，所述处理器被配置以使所述设备：

接收原始数据集；

根据至少一个术语、问题和答案、和标签，基于所述原始数据集，建立第一组知识点；

将所述第一组知识点发送至自然语言处理(NLP)服务器进行域学习和论证，以便将所述NLP服务器配置以基于所述第一组知识点获取一个提取结果；

根据所述提取结果更新第一组知识点，以得到第二组知识点；

更新所述第二组知识点中每个问题和答案的元数据；

将所述第二组知识点和对应的元数据存储到数据库中；以及

根据所述第二组知识点，将所述当前版本KB更新为所述新的当前版本KB。

12.根据权利要求8所述的设备，其中，当所述处理器被配置以使所述设备确定所述新的当前版本KB是否通过所述第一测试时，所述处理器被配置以使所述设备：

从所述KP操作员接收问题；

根据所述新的当前版本KB返回所述问题的答案；

从所述KP操作员接收第一确定，确定是否需要改变所述答案；

响应于接收到需要改变所述答案的第一确定，找到相关的问题作为所述问题；

从所述KP操作员接收是否需要将所受问题添加到所述答案的第二确定；

响应于接收到需要将所述问题添加到所述答案的第二个确定，将所述问题添加到所述答案；

确定是否需要继续进行所述第一测试；

响应于确定需要继续进行所述第一测试，重复从所述KP操作员接收问题的步骤；

响应于确定不需要继续进行所述第一测试，确定所述新的当前版本KB通过了所述第一测试。

13.根据权利要求12所述的设备，其中，当所述处理器被配置以基于所述新的当前版本KB使所述设备返回所述问题的答案时，所述处理器被配置以使所述设备：

确定所述问题是否有不雅用语或负面的；

响应于确定所述问题有不雅用语或是负面的，获得对不雅用语问题的响应；

响应于确定所述问题没有不雅用语并且不是负面的：

根据所述新的当前版本KB确定是否找到所述问题的精确匹配，

响应于确定未找到所述问题的精确匹配，基于所述新的当前版本KB确定是否找到与所述问题相关的上下文，

响应于确定未找到所述问题的相关上下文，基于所述新的当前版本KB确定是否找到所述问题的匹配标签，

响应于确定未找到所述问题的匹配标签，基于所述新的当前版本KB确定是否找到与所述问题匹配的域，

响应于确定已找到所述问题的匹配域，基于所述新的当前版本KB匹配所述问题，

响应于确定未找到所述问题的匹配域，基于所述新的当前版本KB找到与所述问题相关的主题；和

构建所述问题的答案。

14.根据权利要求8所述的设备，其中，当所述处理器被配置以使所述设备确定所述新的提交版本KB是否通过所述第二测试时，所述处理器被配置以使所述设备：

从所述KP管理者接收问题；

根据所述新的提交版本KB返回所述问题的答案；

从所述KP管理者接收是否需要更改所述答案的第一确定；

响应于从所述KP管理者接收到的需要更改所述答案的第一确定，

更改所述答案；

从所述KP管理者接收是否需要将所述问题添加到所述答案的第二确定；

响应于从所述KP管理者接收到的需要将所述问题添加到所述答案的第二确定，将所述问题添加到所述答案；

确定是否需要继续所述第二测试；

响应于确定需要继续所述第二测试，重复从所述KP管理者接收问题的步骤；

响应于确定不需要继续所述第二测试，确定所述新的提交版本KB通过了所述第二测试。

15.根据权利要求14所述的设备，其中，当所述处理器被配置以基于所述新的提交版本KB使所述设备返回所述问题的答案时，所述处理器被配置以使所述设备：

确定所述问题是否有不雅用语或是负面的；

响应于确定所述问题有不雅用语或是负面的，获得对所述不雅用语问题的响应；

响应于确定所述问题没有不雅用语并且不是负面的：

根据所述新的提交版本KB确定是否找到所述问题的精确匹配，

响应于确定未找到所述问题的精确匹配，基于所述新的提交版本KB确定是否找到与所述问题相关的上下文，

响应于确定未找到所述问题的相关上下文，基于所述新的提交版本KB确定是否找到了与所述问题匹配的标签，

响应于确定未找到与所述问题匹配的标签，基于所述新的提交版本KB确定是否找到与所述问题匹配的域，

响应于确定已找到所述问题的匹配域，基于所述新的提交版本KB匹配所述问题，以及

响应于确定未找到所述问题的匹配域，基于所述新的提交版本KB找到与所述问题相关的主题；

构建所述问题的答案。

16.一种存储指令的非暂时性计算机可读存储介质，其中所述指令在由处理器执行时使所述处理器执行：

接收更新请求，将当前版本的KB更新为新的当前版本的KB；

从知识点(KP)操作员接收第一测试请求，并确定所述新的当前版本KB是否通过了第一测试；

从KP管理者接收第二测试请求，并确定所述新的提交版本KB是否通过第二测试；

响应于所述新的提交版本KB通过所述第二测试的确定，存储原始的投产版本KB作为先前版本KB，并提交所述新的提交版本KB作为新的投产版本KB。

17.根据权利要求16所述的非暂时性计算机可读存储介质，其中：

所述新的当前版本KB包含一个或多个知识点；

所述指令在由所述处理器执行时使所述处理器还执行：

确定所述新的投产版本KB是否存在问题，以及

根据确定所述新的投产版本KB存在问题，将所述新的投产版本KB替换为所述存储的先前版本KB。

18.根据权利要求16所述的非暂时性计算机可读存储介质，其中，当所述指令使所述处理器执行接收所述更新请求并将所述当前版本KB更新为新的当前版本KB时，所述指令使所述处理器执行：

接收原始数据集；

根据至少一个术语、问题和答案、和标签，基于所述原始数据集建立第一组知识点；

将所述第一组知识点发送至自然语言处理(NLP)服务器进行域学习和论证，以便将所述NLP服务器配置以基于所述第一组知识点获取提取结果；

根据所述提取结果更新所述第一组知识点，得到第二组知识点；

更新所述第二组知识点中每个问题和答案的元数据；

将所述第二组知识点和对应的元数据存储到数据库中；以及

19.根据权利要求16所述的非暂时性计算机可读存储介质，其中，当所述指令使所述处理器执行确定所述新的当前版本KB是否通过所述第一测试时，所述指令使所述处理器执行：

从所述KP操作员接收问题；

根据所述新的当前版本KB返回所述问题的答案；

从所述KP操作员接收是否需要改变所述答案的第一确定；

从所述KP操作员接收是否需要将所述问题添加到所述答案的第二确定；

响应于接收到需要将所述问题添加到所述答案的第二确定，将所述问题添加到所述答案；

确定是否需要继续进行所述第一测试；

响应于确定需要继续所述第一测试，重复从所述KP操作员接收问题的步骤；以及

响应于确定不需要继续所述第一测试，确定所述新的当前版本KB通过了所述第一测试。

20.根据权利要求19所述的非暂时性计算机可读存储介质，其中，当所述指令使所述处理器基于所述新的当前版本KB执行返回所述问题的答案时，所述指令使所述处理器执行：

确定所述问题是否有不雅用语或是负面的；

根据确定所述问题有不雅用语或是负面的，获得对不雅用语问题的响应；

响应于确定所述问题没有不雅用语或不是负面的：

基于所述新的当前版本KB确定是否找到所述问题的精确匹配，

响应于确定未找到与所述问题相关的上下文，基于所述新的当前版本KB确定是否找到与所述问题匹配的标签，

响应于确定未找到与所述问题匹配的标签，基于所述新的当前版本KB确定是否找到与所述问题匹配的域，

响应于确定未找到与所述问题匹配的域，基于所述新的当前版本KB找到与所述问题相关的主题；以及

构建所述问题的答案。

21.根据权利要求16所述的非暂时性计算机可读存储介质，其中，当所述指令使所述处理器执行确定所述新的提交版本KB是否通过所述第二测试时，所述指令使所述处理器执行：

从所述KP管理者接收问题；

根据所述新的提交版本KB返回所述问题的答案；

从所述KP管理者接收是否需要改变所述答案的第一确定；

响应于从所述KP管理者接收到需要改变所述答案的第一确定，改变所述答案；

响应于从所述KP管理者接收到需要将所述问题添加到所述答案的第二确定，将所述问题添加到所述答案；

确定是否需要继续所述第二测试；

响应于确定需要继续所述第二测试，重复从所述KP管理者接收问题的步骤；以及

22.根据权利要求21所述的非暂时性计算机可读存储介质，其中，当所述指令使所述处理器基于所述新的提交版本KB使所述处理器执行返回所述问题的答案时，所述指令使所述处理器执行：

确定问题是否有不雅用语或是负面的；

响应于确定所述问题有不雅用语或是负面的，获得对所述是不雅用语问题的响应；

根据确定所述问题没有不雅用语并且不是负面的：

基于所述新的提交版本KB确定是否找到所述问题的精确匹配，

响应于确定未找到与所述问题相关的上下文，基于所述新的提交版本KB确定是否找到与所述问题匹配的标签，

响应于确定找到了与所述问题匹配的域，基于所述新的提交版本KB匹配所述问题，

响应于确定未找到与所述问题匹配的域，基于所述新的提交版本KB找到与所述问题相关的主题；以及

构建所述问题的答案。