CN103390047A - 聊天机器人知识库及其构建方法 - Google Patents

Abstract

本发明公开了一种聊天机器人知识库及其构建方法。知识库分为聊天话语库和聊天人属性库。聊天话语库由多个聊天话语记录构成，每个记录包含一条聊天话语、该聊天话语的语境信息、该聊天话语的多个回复话语及每一回复话语的限制条件集合。聊天人属性库由多个聊天人属性记录构成，每个记录包含聊天人的静态属性和动态属性。本发明还公开了一种聊天机器人知识库构建方法，通过数据挖掘技术获取知识库所需信息。候选的聊天话语、语境信息、回复话语均从海量人工聊天数据中挖掘。聊天人属性在聊天过程中动态获取。本发明可解决目前聊天机器人存在的聊天过程不连贯、不能根据聊天人属性给出个性化回复的缺点，可为特定领域的智能聊天机器人开发提供支撑。

Description

聊天机器人知识库及其构建方法

技术领域

本发明涉及聊天机器人领域，尤其涉及该领域内的一种自动聊天机器人知识库及其构建方法。

背景技术

1950年，“人工智能之父”图灵在国际顶级学术刊物《思维》（Mind）上发表“计算机器与智能”一文，提出如果机器能和人用自然语言对话并且不被人察觉，那么该机器就具有智能。这就是所谓的图灵测试。研发可以与人自动聊天的机器人一直是人工智能领域的重要课题。世界上最早的聊天机器人诞生于20世纪80年代，这款机器人名为“Elbot”，用BASIC语言编写而成。1998年，克莉斯·克沃特用javascript 和PERL语言编写完成了一个在线聊天系统“TalkBot”。1995年11月，华莱士研发出聊天程序“Alice”，并将它安装到网络服务器上与网民进行自由对话。随着“Alice”功能的不断完善，它在2000年、2001年、2004年三次获得该领域国际比赛的冠军。目前国内也出现了不少自动聊天机器人，比如赢思软件的小i（http://www.xiaoi.com），爱博的小A，小强，和爱情玩偶等。这些聊天机器人也已经日益成为网民上网的好伙伴。2012年底，一款名为“小黄鸡”的智能聊天软件在人人网（http://www.renren.com）上流行，网民可以通过关注小黄鸡之后，在状态里小黄鸡或者回复它，就会收到来自小黄鸡的回复。

纵观这些聊天机器人，其基本原理都是类似的。研发者通过搜集聊天过程中可能涉及的话语并为每一话语设计对应的回复来构建聊天知识库。当聊天人将一个问题抛给聊天机器人时，它去搜索聊天知识库，通过匹配算法找到库中最相似的聊天话语，然后取出该话语对应的回复话语返回给聊天人。这些聊天机器人最大的问题是没有连贯的思维能力和逻辑能力，没有考虑聊天的上下文信息。如，聊天人发出“怎么办？”，聊天人的意思可能是“天气太热了怎么办？”，也可能是“如何办理VIP卡？”。机器人如果要给出贴切回复必须考虑前面的聊天内容。现有聊天机器人的另外一个问题是在聊天过程中没有考虑对方的属性特点，对于不同聊天人发出的同一问题，给出的回复都是一样的。如，聊天人是个女孩子，她说“好无聊啊”，机器人如果回复“给你介绍个MM啊”显然不合适。造成聊天机器人存在这些问题的根源在于聊天知识库中只记录了“话语——回复”信息，没有记录每一聊天话语的上下文信息，也没有记录每个聊天人的属性信息。

综上分析，现有聊天机器人存在聊天过程不连贯、不能根据聊天人属性给出个性化回复的缺点，需要研发新的技术，特别是需要研发新的聊天知识库及其构建方法。

发明内容

本发明的目的是通过设计全新结构的、包含更丰富信息的自动聊天知识库来实现更人性化的特定领域人机自动聊天。

为达到以上目的，本发明提供一种聊天知识库。该知识库将自动聊天知识库分为聊天话语库和聊天人属性库。

其中聊天话语库用于记录自动聊天过程中可能出现的聊天话语，由多个聊天话语记录构成，每个记录包含一条聊天话语、该聊天话语的语境信息、该聊天话语的多个回复话语、以及每一回复话语的限制条件集合。

本发明将历史聊天记录作为当前聊天的语境信息，上述聊天话语的语境信息由对应聊天话语的历史聊天话语组成。

每一聊天话语都对应若干回复话语，每一回复话语又对应一个限制条件的集合，在聊天过程中只有当满足限制条件时，才将对应回复话语返回给聊天人。限制条件有3种形式：

（1）“ 属性 = X ”，如“ 性别 = 女 ”；

（2）“ X < 属性 < Y ”，如“ 25 < 年龄 < 40 ”；

（3）“ 属性 IN S ”，其中S是一个属性值集合，如“ 关键词 IN {唱歌、KTV} ”。

聊天人属性库用于记录参与聊天的用户的特征信息，由多个聊天人属性记录构成，每个记录包含聊天人的静态属性和动态属性，其中静态属性包含聊天人的背景信息，动态属性包含反映聊天人感兴趣话题的聊天关键词。

为获取上述自动聊天知识库所需信息，本发明提供一种聊天知识库构建方法。该构建方法包括聊天话语库构建方法和聊天人属性库构建方法。

其中聊天话语库构建方法，包括如下步骤：

（1）候选聊天话语记录挖掘；

（2）聊天话语有效性判定；

（3）回复话语限制条件设定；

（4）聊天话语记录保存。

其中候选聊天话语记录挖掘是基于海量人工聊天数据的。采用文本分析技术（文本相似度计算技术和文本聚类技术）从海量人工聊天数据中自动提取聊天过程中可能出现的聊天话语，及对应聊天话语的历史聊天话语（作为语境信息）和所有紧邻出现的1条后续回复话语。

聊天人属性库构建方法，特征在于聊天人属性信息在聊天过程中动态获取，包括如下步骤：

（1）为每一属性的获取设计针对性的引导话语，如为获取聊天人地域属性，可设计引导话语“帅哥哪里的啊?”；

（2）聊天过程中，实时查询当前聊天人属性记录，确定当前缺少的属性信息；

（3）根据当前缺少的属性信息，向聊天人发出对应的引导话语；

（4）分析聊天人的回复话语，获取并保存聊天人属性信息。

本发明提供了一种聊天机器人知识库，该知识库包含聊天的语境信息和聊天人属性信息，可解决目前聊天机器人存在的聊天过程不连贯、不能根据聊天人属性给出个性化回复的缺点。本发明还提供了该知识库所需信息的获取方法，为知识库的构建与实际应用提供了可行途径。本发明可对研发特定领域的智能聊天机器人提供技术支撑。

附图说明

图1为聊天机器人知识库结构图；

图2为聊天话语库构造流程图；

图3为聊天人属性库构造流程图；

图4为实施例中的自动聊天流程图。

具体实施方式

为更好理解本发明的内容，下面结合附图和实施例进行详细描述。

图1是本发明所述聊天机器人知识库的逻辑结构图。从逻辑上来看，知识库分为聊天话语库和聊天人属性库。具体实施的时候，可以用关系数据库的表结构来实现。聊天话语库一般包含数量巨大的聊天话语及其相关信息，虽然聊天话语本身只是一条文本形式的信息，但是与之相关的信息包括语境信息、回复话语、及回复话语的限制条件等，只用一个关系数据库表来存储以上信息比较困难。具体实施时，可以设计几个相互关联的表，如主表、回复话语表、限制条件表等，来存储以上信息。主表存放聊天话语及其文本形式的语境信息。要注意的是，聊天话语不能作为主键，同一个聊天话语可能对应很多种语境，不同语境下对同一聊天话语的回复是不一样的。每条记录的“聊天话语+语境信息”是唯一的，可以另外设置一个自动增一的编号字段作为主键。回复话语表与主表关联，记录主表每条记录对应的多个回复话语。限制条件表与回复话语表关联，记录回复话语表中每条记录对应的多个限制条件。限制条件表应包含限制条件的类型、属性名、属性值等多个字段。聊天人属性库包含参与聊天的用户的属性记录，每条记录应包含聊天人ID（用户标识号）、性别、年龄、地域、教育背景、聊天关键词等属性。具体实施时，可以用一张数据库表或者一张主表加若干辅助表的方式来实现。

图2是本发明所述聊天话语库的构造流程图。聊天话语库的构造主要包含4个步骤：（1）候选聊天话语记录挖掘；（2）聊天话语有效性判定；（3）回复话语限制条件设定；（4）聊天话语记录保存。步骤（1）是基于海量人工聊天数据的，所谓人工聊天数据是指人和人之间的聊天数据。为保证自动聊天的效果，人工聊天数据应尽可能地覆盖某应用领域的所有可能的聊天情景和所有可能出现的聊天话语。该条件在开放域聊天中几乎是无法满足的，但是针对某确定的应用领域是可以满足的，人工聊天数据的话语量至少应该在千万条级别。人工聊天数据可以从某应用系统的历史聊天记录中收集整理得到。一般来说，实际的人工聊天情况非常复杂，同一个意思会有多种表达方式，如“好啊”与“好呀”、“QQ”与“扣扣”等等。首先采用文本处理技术（文本相似度计算技术和文本聚类技术）对聊天话语进行规范化处理，对于同一个意思的多种表达，只保留一种。然后提取所有聊天过程中出现的聊天话语，及每一聊天话语的上文聊天信息作为该聊天话语的语境。根据相关心理学理论和对实际聊天数据的分析，兼顾系统实现的复杂度，可提取前3条历史聊天话语作为当前聊天的语境信息。同时提取所有紧邻聊天话语出现的1条后续回复文本构成该聊天话语的回复话语。一条聊天话语可对应多条回复话语。自动提取的聊天话语及其语境信息和回复话语不一定是合理、有效的，特别是对于某些聊天话语，其回复话语可能情况很多，其中一部分又可能与上文联系不大，即在当前语境下并不是一个好的回复。因此需要步骤（2）对聊天话语及其相关信息进行有效性判定。在聊天过程中，要选择一个贴切的回复话语，既与当前的聊天话语与语境有关，也与聊天人的属性特征相关。本发明提出可为每一回复话语设置若干个限制条件，当限制条满足时才可以选择对应回复话语返回给聊天人。另外一些无限制条件的回复话语作为通用的回复，在没有满足限制条件的回复话语可选时返回给聊天人。有效性判定和限制条件设定借助辅助软件完成。

图3是本发明所述聊天人属性库的构造流程图，主要步骤包括：（1）为每一属性的获取设计针对性的引导话语；（2）聊天过程中，实时查询当前聊天人属性记录，确定当前缺少的属性信息；（3）根据当前缺少的属性信息，向聊天人发出对应的引导话语；（4）分析聊天人的回复话语，获取并保存聊天人属性信息。本发明提出的聊天人属性库构建方法，特征在于聊天人属性信息是在聊天过程中通过系统主动发出引导性话语来动态获取的。首先针对每一属性的获取设计引导话语，例如：为获取聊天人的性别属性，设计问题“你是GG还是MM啊？”；为获取地域属性，设计问题“帅哥哪里的啊?”等等。在聊天过程中，系统根据聊天人ID查询聊天人属性库，确定当前聊天人还有哪些属性信息未被获取。然后系统有针对性地发出引导性话语。如果聊天人有回复，就分析这个回复，并从中解析出对应的属性信息，把它存放到聊天人属性库中。这样经过一段时间的聊天可以获取聊天人的所有属性信息。聊天过程中系统可以根据聊天人的属性信息选择回复话语。因为回复话语的限制条件是和聊天人属性相关的，当前聊天人的属性如果满足某条回复话语的限制条件，则系统选择该回复话语返回给聊天人。

实施例一：

本实施例涉及一个网络视频社交平台，该平台根据社交内容分为若干频道，每一频道又有多个视频聊天房间。游客、VIP会员可以在房间里和房间主持人互动交流，其中一种重要的交流方式就是文字聊天。在服务平峰期，房间主持人可以亲自与用户进行互动聊天，但是在服务高峰期，房间里用户数量太多，房间主持人无法与每一用户互动交流，严重影响用户体验。因此需要开发能模拟主持人工作的聊天机器人来缓解主持人的工作压力，而开发聊天机器人的一个关键问题就是构建聊天知识库。首先提取平台上房间主持人与用户的文本聊天记录作为人工聊天数据，时间跨度为1个月，聊天话语共计3000余万条。由于系统原因该人工聊天数据是按时间顺序记录的多人混合聊天数据，即所有会话是混杂在一起的。对上述人工聊天数据进行会话提取操作，获得500余万个会话记录。会话记录是指两人之间的一次完整聊天记录。首先过滤掉用户与用户之间的会话（只保留主持人与用户的会话），然后过滤掉聊天句数少于5句的无效会话和聊天双方发话比例大于5:1的非典型会话，共得到60余万个主持人和用户之间的有效会话记录。在上述有效会话记录基础上，按本发明提供的方法构建聊天话语库。在聊天过程中按本发明提供的方法构建用户（聊天人）属性库。

本实施例的自动聊天过程如图4所示。首先平台用户通过运行客户端登录系统，客户端设备可以是PC也可以是移动设备，客户端软件可以是传统的Client客户端也可以是Web客户端。然后聊天机器人系统根据登录用户的ID号，去查询聊天人属性库，如果查询结果非空，取出该用户的属性信息（如果查询结果为空可以在聊天人属性库中新增该用户的记录，然后转聊天人属性的获取流程）。接着聊天机器人向用户发出一条预定义的问候话语。收到问候话语，用户可以开始与聊天机器人互动聊天。聊天机器人收到用户话语，首先去搜索聊天话语库主表，获取与该聊天话语匹配的所有聊天话语，记为D；然后将3条历史聊天记录（不足3条取实际条数）与D中每一话语的语境信息进行匹配（匹配算法采用编辑距离法），获取匹配度最高的话语，记为d；接下来查询回复话语表，获取d的所有回复话语R，并查询限制条件表，获取R中每一回复话语的限制条件；最后根据用户属性，选择一个满足限制条件的最佳回复话语r，并将它返回给用户。反复执行以上聊天动作，直到用户关闭客户端或者退出系统。

以下用一个典型聊天实例，进一步说明本发明实施例的聊天过程。“【”和“】”之间的文字是说明信息。

聊天实例：

【平台客户登录系统，系统查询聊天人属性库获取用户的属性信息，性别为“男”，地域为“浙江”，聊天关键词包括“唱歌”】

以下是聊天过程：

1)聊天机器人：老乡哥哥，又见面了~【问候语，该问候语的限制条件是“ 性别 = 男 ”，当前用户满足该限制条件】

2)平台用户：是啊

3)聊天机器人：生怕看不到你了【上文用户话语只有“是啊”两字，信息量过少，查询聊天话语库，通过语境信息匹配确定最贴切回复】

4)平台用户：刚才出去了一会

5)聊天机器人：呵呵，还以为你睡了【根据用户话语和语境信息，查询聊天话语库确定回复话语】

6)平台用户：美女，你哪里的

7)聊天机器人：我也是浙江的【该回复话语的限制条件是“ 地域属性 = 浙江 ”】

8)平台用户：无聊，玩吗

9)聊天机器人：可以看房间美女唱歌啊【该回复话语的限制条件是用户聊天关键词包含“唱歌”】

10)平台用户：一直没有看你唱歌

11)聊天机器人：房间很多MM人长得漂亮，歌也唱得好呢【根据语境信息和用户聊天关键词，选择回复话语】

以上对本发明所提供的一种自动聊天知识库其构建方法进行了详细介绍，并结合具体实施例对本发明的内容和实施方式进行了描述。需进一步说明的是，对本领域的普通技术人员来说，可以根据以上描述对本发明的方法加以改进或者变化，只要这些改进或者变化没有脱离本发明的思想和要点，都应属于本发明所附权利要求的保护范围。

Claims (6)

1.聊天机器人知识库，包括聊天话语库和聊天人属性库，其特征在于： 

所述聊天话语库中的每一个话语记录包含：

A.一条聊天话语、

B.聊天话语的语境信息、

C.聊天话语的多个回复话语、

D.每一回复话语的限制条件集合；

所述聊天人属性库由多个聊天人属性记录构成，每个记录包含聊天人的静态属性和动态属性，其中静态属性包含聊天人的背景信息，动态属性包含反映聊天人感兴趣话题的聊天关键词。

2.根据权利要求1所述的聊天机器人知识库，其特征在于：所述的语境信息由历史聊天话语构成。

3.根据权利要求1所述的聊天机器人知识库，其特征在于：所述的限制条件为如下形式之一：

第一种形式：“属性 = X”，其中X为条件；

第二种形式：“X < 属性 < Y”其中Y为另一条件；

第三种形式：“ 属性 IN S ”，其中S是一个属性值集合。

4.聊天机器人知识库构建方法，其特征在于：包括聊天话语库构建和聊天人属性库构建；

所述聊天话语库构建具体是：

E.候选聊天话语记录挖掘；

F.聊天话语有效性判定；

G.回复话语限制条件设定；

H.聊天话语记录保存。

5.根据权利要求4所述的聊天机器人知识库构建方法，其特征在于：

所述候选聊天话语记录挖掘包括候选的聊天话语挖掘、语境信息挖掘和回复话语挖掘，上述挖掘均是从海量人工聊天数据中自动提取。

6.根据权利要求4所述的聊天机器人知识库构建方法，其特征在于：所述聊天人属性库构建中，其聊天人属性信息是在聊天过程中动态获取，具体是：

I.为每一属性的获取设计针对性的引导话语；

J.聊天过程中，实时查询当前聊天人属性记录，确定当前缺少的属性信息；

K.根据当前缺少的属性信息，向聊天人发出对应的引导话语；

L.分析聊天人的回复话语，获取并保存聊天人属性信息。

Images