CN109508367A - 自动提取问答语料的方法、在线智能客服系统及电子设备 - Google Patents

Abstract

本发明涉及自然语言处理技术，提供了一种自动提取问答语料的方法，所述方法包含步骤：从所述原始语料中确定出至少一组对话语料；基于预设规则识别各个所述对话语料中的疑问句；基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语料分割成若干个问答片段；基于各个所述问答片段，提取所述问答语料。基于本发明所提供的自动提取问答语料的方法，可大幅度减少需要人工处理的工作量，节省了人工成本，且提升了处理速率。此外，本发明还提供了一种在线智能客服系统及电子设备。

Description

自动提取问答语料的方法、在线智能客服系统及电子设备

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种自动提取问答语料的方法、在线智能 客服系统及电子设备。

背景技术

随着互联网的飞速发展，人们服务意识的提高，网络客服已经普及到各行各业，深入到 日常商业服务的各个环节。

目前的网络客服系统，通常由机器客服和人工客服组成，其中机器客服一般是基于网页 的即时通讯工具，具体可基于FAQ系统来实现。

具体而言，在构建某个专门领域的机器客服系统时，需要依赖大量的语料数据，即机器 客服的知识库，其中，知识库一般是以FAQ的形态保存在系统数据库中的，主要包含提问信 息及对应的回复信息等字段，机器客服在接收到用户提出的问题时，可基于FAQ系统查找对 应的回复信息，并反馈给用户，故构建完整的FAQ数据库为机器客服技术实现的关键之一。

在构建FAQ数据库的过程中，通常会收集某个领域的聊天记录作为原始语料，首再通过 从原始语料中提取出问题信息及对应的回复信息进，得到一系列FAQ数据。

然而，目前FAQ数据的提取多数是依赖人工提取的方式来完成，由于原始语料数据量庞 大，完全依赖人工来进行提取，工作量大，人工成本高，并存在一定的低效性。

发明内容

为了解决上述问题，本发明的实施例，提供了一种自动提取问答语料的方法，所述方法 包含步骤：从所述原始语料中确定出至少一组对话语料；基于预设规则识别各个所述对话语 料中的疑问句；基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语料分割成 若干个问答片段；基于各个所述问答片段，提取所述问答语料。

在一实施例中，所述基于预设规则识别各个所述对话语料中的疑问句具体包括：基于预 设字符及正则表达式的匹配，识别各个所述对话语料中的疑问句。

在一实施例中，所述基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语 料分割成若干给问答片段具体包含：确定各个所述疑问句在所在的所述对话语料中出现的先 后顺序，作为所述位置信息；基于所述位置信息，将前一个所述疑问句与相邻的后一个所述 疑问句之间出现的非疑问句，与所述前一个疑问句归为同一个所述问答片段，其中所述问答 片段中的所述疑问句与所述非疑问句的先后关系与所述对话语料中的相同。

在一实施例中，所述基于各个所述问答片段，提取所述问答语料具体包含：设定所述问 答片段中的所述疑问句为问题语句；确定所述问答片段中位于所述疑问句之后的语句为答复 语句；所述问题语句与所述答复语句构成所述问答语料。

在一实施例中，所述基于各个所述问答片段，提取所述问答语料具体包含：确定所述问 答片段中各语句的发出方；确定出现在所述疑问句之后的、及对应的所述发出方与所述疑问 句的发出方不同的第一条非疑问句，以及所述第一条非疑问句之后的所有非疑问句，作为针 对所述疑问句的答复语句；合并所述疑问句及所述答复语句作为所述答复片段对应的所述问 答语料。

基于本发明实施例所提供的自动提取问答语料的方法通过将原始语料中的对话语料分别 进行分析，通过对疑问句的识别，来分割出各个对话语料中的问答片段，并基于各个问答片 段，提取出问答语料，为FAQ数据库提供基础数据，不仅可大幅度提升数据处理的速率，大 大节省了人工成本，还可以进一步基于语句发出者来更准确的确定提问语句对应的答复语句， 从而节省了后续数据清洗的工作量，保证了FAQ数据库中，数据的准确度。

基于同样的发明构思，本发明还提供了一种在线智能客服系统，所述系统针对用户提出 的问题，通过查找问答数据库，确定所述问题对应的答案，并回复给所述用户，其中所述问 答数据库中的问答语料数据是基于上述的自动提取问答语料的方法获得。

此外，本发明还提供了一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理 器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如 上述自动提取问答语料的方法。

附图说明

一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并 不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有 特别申明，附图中的图不构成比例限制。

图1绘示本发明的第一实施例所提供的一种自动提取问答语料的方法流程示意图；

图2绘示图1所示实施例中提取问答语料的方法流程图；

图3绘示了本发明一实施例所提供的在线智能客服系统结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各 实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中， 为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于 以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明所提供的第一实施例为一种自动提取问答语料的方法，需要说明的是，本实施例 所提供的自动提取问答语料的方法可基于一组计算机程序指令来实现。

请参照图1，图1绘示本发明的第一实施例所提供的一种自动提取问答语料的方法流程 示意图。

如图1所示，所述方法具体包含以下步骤：

步骤101，从所述原始语料中确定出至少一组对话语料。

具体而言，原始语料可基于应用场景的需求收集而来的语料数据，而在本发明的实施例 中，原始语料主要包括从各个数据系统、网页记录等渠道收集而来的聊天记录，换言之，原 始语料可有大量的对话语料组成，而各个对话语料是基于实际应用场景中收集而来的，且相 互之间是相对独立的。

举例而言，在网页聊天记录中，可能会包含不同用户与不同客服的对话记录，而这些对 话之间是相互独立的，例如，用户A向客服A咨询关于微整形项目的信息，及用户B向客服 A咨询关于微整形项目的信息，这两组对话应分别记录为两组不同的对话语料。

在本步骤中，从所述原始语料中确定至少一组对话语料，可具体包含，通过对原始语料 中会话角色的不同来区分出不同的对话语料，或者可以在收集记录对话语料时，通过标签的 方式来区分不同的对话语料。

如此一来，在实际的应用中，可以先将全部的原始语料输入到系统，系统可基于标签信 息来确定出各个对话语料，并进行一一分析，也可以依次将对话语料分别进行输入，那么系 统就可直接基于接收到的对话语料进行逐个分析。可以理解的是，具体的实现过程，本发明 并不以此为限。

步骤102，基于预设规则识别各个所述对话语料中的疑问句。

具体而言，可根据原始语料的输入方式，来确定各个对话语料的分析过程。

如步骤101中所述，在输入原始语料时，可以是一次性将全部带有标签的对话语料进行 输入，那么，在这种情况下，系统则需先将这些对话语料保存在数据库中，再根据标签区分 各个对话语料，进而逐条读取对话语料来进行疑问句的识别；而当输入原始语料时，是依次 将各个对话语料分别进行输入，那么系统则不需要预留较大的储存来进行数据的存储，而可 直接基于输入的对话语料进行依次分析。

疑问句的识别具体可基于预设字符及正则表达式的匹配，识别各个所述对话语料中的疑 问句。

在本实施例中，预设规则可预先配置在系统中，具体可包含通过正则表达式来判断语句 中是否包含特定的预设字符，进而对语句类型进行识别，在本实施例中，语句类型主要包含 疑问句和非疑问句。

在一具体实施例中，预设字符可包含“？”、“吗”、“呢”、“么”，那么正则表达式可为“.+[？吗呢么].*”。

由于对话语料一般是由多条语句组成，各语句之前的先后顺序也是基于实际发生的顺序 固定的。如此一来，可基于上述正则表达式对对话语料中的各个语句进行识别，确定各个语 句的类型。

举例而言，可参照表1，表1中提供了一组对话语料在经过疑问句识别后的结构示例。

语句	语句类型
		你们这边有做微整形吗？	疑问句
您好，有的。	非疑问句
		玻尿酸注射大概多少钱呢	疑问句
您好，玻尿酸注射的费用跟具体的使用部位有关系	非疑问句
		可以先预约一下医生吗？	疑问句
可以的，请留一下您的联系方式	非疑问句
		13800000000	非疑问句

表1

值得注意的是，在本发明的其他实施例中，可针对疑问句的识别方式可选用其他的方式， 例如基于算法模型的识别等，本发明并不以此为限。

步骤103，基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语料分割成 若干个问答片段。

如上所述，对话语料中的各个语句之前的前后顺序是基于实际应用场景中出现的先后顺 序已确定的。如此一来，可确定各个所述疑问句在所在的所述对话语料中出现的先后顺序， 作为疑问语句在对话语料中的位置信息。

在获得了对话语料中各个疑问句的位置信息后，可将前一个疑问句与相邻的后一个疑问 句之间出现的非疑问句，与该前一个疑问句归为同一个问答片段。其中问答片段中的疑问句 与非疑问句的先后关系与对话语料中的相同。

请参照表2，承接表1，表2给出了问答片段的确定结果的实例。

语句	语句类型	问答片段ID
			你们这边有做微整形吗？	疑问句	1
您好，有的。	非疑问句	1
			玻尿酸注射大概多少钱呢	疑问句	2
您好，玻尿酸注射的费用跟具体的使用部位有关系	非疑问句	2
			可以先预约一下医生吗？	疑问句	3
可以的，请留一下您的联系方式	非疑问句	3
			13800000000	非疑问句	3

表2

如表2所示，可通过设定ID来区分对话语料中的各个不同问答片段，问答片段ID相同 的语句归为同一个问答片段。

步骤104，基于各个所述问答片段，提取所述问答语料。

答复语料为用户生成FAQ数据库语料数据，一般包含问题语句和对应的答复语句。在步 骤103中，可将对话语料分割成各个问答片段，那么在步骤中，则可基于各个问答片段，提 取出问答语料。具体可包含如下步骤：

首先，设定问答片段中的疑问句为问题语句，并确定问答片段中位于疑问句之后的语句 为答复语句，最终，基于问题语句与答复语句构成问答语料。换言之，可将一个问答片段中 的疑问句确定为一条问题语句、再将该问答片段中的非疑问句确定为该问题语句对应的答复 语句，从而生成一条问答语料数据，并进行保存。具体可参照表3，表3中展示了基于表2 中的数据，得到的问答语料数据结构。

表3

如此一来，可基于上述方法实现自动对原始语料进行问答语料的提取，节省人工成本， 大幅的提升了数据处理速率。

在一优选的实施例中，为了进一步的提升问答语料提取的准确性，在基于各个所述问答 片段，提取问答语料的步骤中，可具体包含图2中所示的步骤：

步骤201，确定问答片段中各语句的发出方。

由于原始语料数据，都是基于真实发生的场景收集获得的，那么在对话语料中，必定会 包含不同的角色，及发出方，一般而言，在一段客服对话语料中，发出方一般包含客户和客 服，由于这些语料数据在原始的聊天记录中，一般都会保存发出方及对应的语句，故在本实 施方式中，可基于该些原始的信息，确定问答片段中各语句的发出方。

步骤202，确定出现在所述疑问句之后的、及对应的所述发出方与所述疑问句的发出方 不同的第一条非疑问句，以及所述第一条非疑问句之后的所有非疑问句，作为针对所述疑问 句的答复语句。

具体而言，在实际的聊天场景中，虽然大多数都是一问一答的模式，但也不排除同一发 出方连续输出两条或多条语句的情况，例如客服人员在确认客户的联系方式时，可能会出现 以下对话：

“您好，请问能提供一下联系方式吗？

手机号，或者座机号码都可以的。”

“手机号吧，1890000000”

在这种情况下，可通过语句的发出者来更精准的确认问答语料中的问题语句和答复语句。 通过确定发出方与疑问句的发出方不同的第一条非疑问句，以及连续在该语句之后的，有相 同发出方提供的有语句确定为答复语句。

以上述示例来说，问题语句最终会被确认为“您好，请问能提供一下联系方式吗？”，而 答复语句则为“手机号吧，1890000000”，而语句“手机号，或者座机号码都可以的。”则不 会被剔除。

步骤203，合并所述疑问句及所述答复语句作为所述答复片段对应的所述问答语料。

基于本优选的实施方式，通过加入语句发出方的确认来确定问题语句对应的答复语句， 以表2中的数据为例，基于图2所提供的实施方式提取答复语料后，会获得表4中的答复语 料。

表4

由此可见，基于本发明实施例所提供的自动提取问答语料的方法通过将原始语料中的对 话语料分别进行分析，通过对疑问句的识别，来分割出各个对话语料中的问答片段，并基于 各个问答片段，提取出问答语料，为FAQ数据库提供基础数据，不仅可大幅度提升数据处理 的速率，大大节省了人工成本，还可以进一步基于语句发出者来更准确的确定提问语句对应 的答复语句，从而节省了后续数据清洗的工作量，保证了FAQ数据库中，数据的准确度。

基于同样的发明构思，本发明还提供了一种在线智能客服系统。

请参照图3，图3绘示了本发明一实施例所提供的在线智能客服系统结构示意图。

如图3所示，在线智能客服系统300包含接收模块301，用于接收用户输入的信息；处 理模块302，接收所述接收模块301发送的用户输入信息，并针对用户提出的问题，通过查 找问答数据库，确定所述问题对应的答案，并将答案发送给输出模块303；输出模块303接 收处理模块302发送的答案，展示给用户。

其中在线智能客服系统300中使用的问答数据库中的问答语料数据是基于上述实施例所 提供的自动提取问答语料的方法获得。

本实施例提供的在线智能客服系统，可直接基于问答数据库，查找获得回复给用户的信 息，响应速率快，且问答数据库中的数据是基于上述实施例所提供的自动提取问答语料方法 获得，可节省大量人工成本，并提升数据库的构建、更新的速率。

本发明另一实施例涉及一种电子设备，包括至少一个处理器；以及，与至少一个处理器 通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个 处理器执行，以使至少一个处理器能够执行图1所示实施例中的自动提取问答语料的方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥， 总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳 压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此， 本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个 元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装 置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收 数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压 调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的 数据。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来 指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可 以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。 而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存 取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内， 所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种自动提取问答语料的方法，其特征在于，所述方法包含步骤：

从所述原始语料中确定出至少一组对话语料；

基于预设规则识别各个所述对话语料中的疑问句；

基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语料分割成若干个问答片段；

基于各个所述问答片段，提取所述问答语料。

2.如权利要求1所述的方法，其特征在于，所述基于预设规则识别各个所述对话语料中的疑问句具体包括：

基于预设字符及正则表达式的匹配，识别各个所述对话语料中的疑问句。

3.如权利要求1所述的方法，其特征在于，所述基于所述疑问句在所在所述对话语料中的位置信息，将所述对话语料分割成若干给问答片段具体包含：

确定各个所述疑问句在所在的所述对话语料中出现的先后顺序，作为所述位置信息；

基于所述位置信息，将前一个所述疑问句与相邻的后一个所述疑问句之间出现的非疑问句，与所述前一个疑问句归为同一个所述问答片段，其中所述问答片段中的所述疑问句与所述非疑问句的先后关系与所述对话语料中的相同。

4.如权利要求1所述的方法，其特征在于，所述基于各个所述问答片段，提取所述问答语料具体包含：

设定所述问答片段中的所述疑问句为问题语句；

确定所述问答片段中位于所述疑问句之后的语句为答复语句；

所述问题语句与所述答复语句构成所述问答语料。

5.如权利要求1所述的方法，其特征在于，所述基于各个所述问答片段，提取所述问答语料具体包含：

确定所述问答片段中各语句的发出方；

确定出现在所述疑问句之后的、及对应的所述发出方与所述疑问句的发出方不同的第一条非疑问句，以及所述第一条非疑问句之后的所有非疑问句，作为针对所述疑问句的答复语句；

合并所述疑问句及所述答复语句作为所述答复片段对应的所述问答语料。

6.一种在线智能客服系统，其特征在于，所述系统针对用户提出的问题，通过查找问答数据库，确定所述问题对应的答案，并回复给所述用户，其中所述问答数据库中的问答语料数据是基于权利要求1至5中任一项所述的自动提取问答语料的方法获得。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的自动提取问答语料的方法。